【问题标题】:Continuously read from STDOUT of external process in Ruby持续从 Ruby 中外部进程的 STDOUT 读取
【发布时间】:2010-11-12 09:28:42
【问题描述】:

我想通过 ruby​​ 脚本从命令行运行 blender,然后它将逐行处理 blender 给出的输出以更新 GUI 中的进度条。 Blender 是我需要读取其标准输出的外部进程并不重要。

当搅拌机进程仍在运行时,我似乎无法捕捉到搅拌机通常打印到外壳的进度消息,我尝试了几种方法。我似乎总是在搅拌机退出后访问搅拌机的标准输出,而不是在它仍在运行时访问。

这是一个失败的尝试示例。它确实获取并打印了搅拌机输出的前 25 行,但只有在搅拌机进程退出后:

blender = nil
t = Thread.new do
  blender = open "| blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1"
end
puts "Blender is doing its job now..."
25.times { puts blender.gets}

编辑:

为了更清楚一点,调用 blender 的命令会在 shell 中返回一个输出流,指示进度(第 1-16 部分已完成等)。似乎在搅拌机退出之前,任何对“获取”输出的调用都会被阻止。问题是如何在搅拌机仍在运行时访问此输出,因为搅拌机将其输出打印到外壳。

【问题讨论】:

    标签: ruby shell process stdout stdin


    【解决方案1】:

    老问题,但有类似问题。

    在没有真正改变我的 Ruby 代码的情况下,有用的一件事是用 stdbuf 包裹我的管道,如下所示:

    cmd = "stdbuf -oL -eL -i0  openssl s_client -connect #{xAPI_ADDRESS}:#{xAPI_PORT}"
    
    @xSess = IO.popen(cmd.split " ", mode = "w+")  
    
    

    在我的示例中,我想像 shell 一样与之交互的实际命令是 openssl

    -oL -eL 告诉它只缓冲 STDOUT 和 STDERR 到换行符。将L 替换为0 以完全取消缓冲。

    但这并不总是有效:有时目标进程会强制执行自己的流缓冲区类型,就像另一个答案指出的那样。

    【讨论】:

      【解决方案2】:

      我已经成功解决了我的这个问题。以下是详细信息和一些解释,以防遇到类似问题的人找到此页面。但如果您不关心细节,以下是简短答案

      按以下方式使用 PTY.spawn(当然是使用您自己的命令):

      require 'pty'
      cmd = "blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1" 
      begin
        PTY.spawn( cmd ) do |stdout, stdin, pid|
          begin
            # Do stuff with the output here. Just printing to show it works
            stdout.each { |line| print line }
          rescue Errno::EIO
            puts "Errno:EIO error, but this probably just means " +
                  "that the process has finished giving output"
          end
        end
      rescue PTY::ChildExited
        puts "The child process exited!"
      end
      

      这里是长答案,细节太多了:

      真正的问题似乎是,如果一个进程没有显式刷新它的标准输出,那么写入标准输出的任何内容都会被缓冲而不是实际发送,直到进程完成,以最小化 IO(这是 显然 许多 C 库的实现细节,通过较少的 IO 使吞吐量最大化)。如果您可以轻松地修改该过程以使其定期刷新标准输出,那么这将是您的解决方案。就我而言,它是搅拌机,所以对于像我这样的完整菜鸟来说修改源有点吓人。

      但是当您从 shell 运行这些进程时,它们会实时向 shell 显示标准输出,并且标准输出似乎没有被缓冲。我相信它仅在从另一个进程调用时才被缓冲,但如果正在处理一个 shell,则标准输出是实时看到的,没有缓冲。

      这种行为甚至可以通过 ruby​​ 进程作为必须实时收集其输出的子进程来观察。只需使用以下行创建一个脚本 random.rb:

      5.times { |i| sleep( 3*rand ); puts "#{i}" }
      

      然后是一个 ruby​​ 脚本来调用它并返回它的输出:

      IO.popen( "ruby random.rb") do |random|
        random.each { |line| puts line }
      end
      

      您会发现,您不会像预期的那样实时获得结果,而是在之后立即获得结果。 STDOUT 正在被缓冲,即使您自己运行 random.rb,它也不会被缓冲。这可以通过在 random.rb 的块内添加STDOUT.flush 语句来解决。但是,如果您无法更改源,则必须解决此问题。您不能从进程外部刷新它。

      如果子进程可以实时打印到 shell,那么必须有一种方法可以用 Ruby 实时捕获这一点。有。您必须使用 PTY 模块,我相信它包含在 ruby​​ 核心中(无论如何都是 1.8.6)。可悲的是,它没有记录在案。不过幸好我找到了一些使用的例子。

      首先,解释一下PTY是什么,它代表pseudo terminal。基本上,它允许 ruby​​ 脚本将自己呈现给子进程,就好像它是一个刚刚在 shell 中键入命令的真实用户一样。因此,只有当用户通过 shell 启动进程时才会发生任何改变的行为(例如,在这种情况下,STDOUT 没有被缓冲)将会发生。隐藏另一个进程已启动此进程的事实允许您实时收集 STDOUT,因为它没有被缓冲。

      要使 random.rb 脚本作为子脚本起作用,请尝试以下代码:

      require 'pty'
      begin
        PTY.spawn( "ruby random.rb" ) do |stdout, stdin, pid|
          begin
            stdout.each { |line| print line }
          rescue Errno::EIO
          end
        end
      rescue PTY::ChildExited
        puts "The child process exited!"
      end
      

      【讨论】:

      【解决方案3】:

      我不知道在 ehsanul 回答问题时是否有 Open3::pipeline_rw() 可用,但它确实让事情变得更简单。

      我不了解 ehsanul 在 Blender 中的工作,所以我用 tarxz 做了另一个例子。 tar 将输入文件添加到 stdout 流,然后 xz 获取 stdout 并再次将其压缩到另一个 stdout。我们的工作是获取最后一个标准输出并将其写入我们的最终文件:

      require 'open3'
      
      if __FILE__ == $0
          cmd_tar = ['tar', '-cf', '-', '-T', '-']
          cmd_xz = ['xz', '-z', '-9e']
          list_of_files = [...]
      
          Open3.pipeline_rw(cmd_tar, cmd_xz) do |first_stdin, last_stdout, wait_threads|
              list_of_files.each { |f| first_stdin.puts f }
              first_stdin.close
      
              # Now start writing to target file
              open(target_file, 'wb') do |target_file_io|
                  while (data = last_stdout.read(1024)) do
                      target_file_io.write data
                  end
              end # open
          end # pipeline_rw
      end
      

      【讨论】:

        【解决方案4】:

        Blender 可能在结束程序之前不会打印换行符。相反,它正在打印回车符 (\r)。最简单的解决方案可能是搜索使用进度指示器打印换行符的神奇选项。

        问题在于IO#gets(以及其他各种 IO 方法)使用换行符作为分隔符。他们将读取流,直到遇到“\n”字符(搅拌机没有发送)。

        尝试设置输入分隔符$/ = "\r" 或改用blender.gets("\r")

        顺便说一句,对于此类问题,您应该始终检查 puts someobj.inspectp someobj(两者都做同样的事情)以查看字符串中的任何隐藏字符。

        【讨论】:

        • 我刚刚检查了给定的输出,似乎搅拌机使用了换行符 (\n),所以这不是问题。无论如何,谢谢你的提示,下次我调试这样的东西时我会记住这一点。
        【解决方案5】:

        使用IO.popenThis 就是一个很好的例子。

        你的代码会变成这样:

        blender = nil
        t = Thread.new do
          IO.popen("blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1") do |blender|
            blender.each do |line|
              puts line
            end
          end
        end
        

        【讨论】:

        • 我试过这个。问题是一样的。之后我可以访问输出。我相信 IO.popen 首先将第一个参数作为命令运行,然后等待它结束。就我而言,输出是由搅拌机在搅拌机仍在处理时给出的。然后在之后调用该块,这对我没有帮助。
        • 这是我尝试过的。它在搅拌机完成后返回输出: IO.popen("blender -b mball.blend //renders/ -F JPEG -x 1 -f 1", "w+") do |blender| blender.each { |行|放线;输出 += 行;} 结束
        • 我不确定您的情况。我用yes 测试了上面的代码,这是一个永远不会结束 的命令行应用程序,它工作正常。代码如下:IO.popen('yes') { |p| p.each { |f| puts f } }。我怀疑这与搅拌机有关,而不是红宝石。可能搅拌机并不总是刷新其 STDOUT。
        • 好的,我刚刚尝试使用外部 ruby​​ 进程进行测试,你是对的。似乎是搅拌机的问题。无论如何感谢您的回答。
        • 事实证明,毕竟有一种方法可以通过 ruby​​ 获取输出,即使搅拌机不会刷新其标准输出。如果您有兴趣,请稍后在单独的答案中详细说明。
        【解决方案6】:

        STDOUT.flush 或 STDOUT.sync = true

        【讨论】:

        • 是的,这是一个蹩脚的答案。你的回答更好。
        • 不跛脚!为我工作。
        • 更准确地说:STDOUT.sync = true; system('<whatever-command>')
        猜你喜欢
        • 2011-06-07
        • 1970-01-01
        • 2016-12-21
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2018-03-17
        • 2016-02-11
        • 1970-01-01
        相关资源
        最近更新 更多