在 Ruby 中运行多线程 Open3 调用答案

【问题标题】：Running multi-threaded Open3 call in Ruby在 Ruby 中运行多线程 Open3 调用
【发布时间】：2019-06-05 12:55:27
【问题描述】：

我有一个大循环，我试图在线程中运行对Open3.capture3 的调用，而不是线性运行。每个线程都应该独立运行，并且在访问数据方面没有死锁。

问题是，线程版本太慢了，占用了我的 CPU。

这是一个线性规划的例子：

require 'open3'

def read(i)
  text, _, _ = Open3.capture3("echo Hello #{i}")
  text.strip
end

(1..400).each do |i|
  puts read(i)
end

这是线程版本：

require 'open3'
require 'thread'

def read(i)
  text, _, _ = Open3.capture3("echo Hello #{i}")
  text.strip
end

threads = []
(1..400).each do |i|
  threads << Thread.new do
    puts read(i)
  end
end

threads.each(&:join)

时间比较：

$ time ruby linear.rb
ruby linear.rb  0.36s user 0.12s system 110% cpu 0.433 total
------------------------------------------------------------
$ time ruby threaded.rb 
ruby threaded.rb  1.05s user 0.64s system 129% cpu 1.307 total

【问题讨论】：

试用 JRuby。它的线没有残废。

标签： ruby multithreading popen3

【解决方案1】：

每个线程应该独立运行，并且在访问数据方面没有死锁。

你确定吗？

threads << Thread.new do
  puts read(i)
end

您的线程正在共享标准输出。如果你查看你的输出，你会发现你没有得到任何交错的文本输出，因为 Ruby 自动确保标准输出上的互斥，所以你的线程有效地串行运行，带有一堆无用的构造/解构/切换浪费时间。

Ruby 中的线程仅在调用某些无 Ruby 上下文时才对并行性有效*。这样，VM 就知道它可以安全地并行运行，而线程之间不会相互干扰。看看如果我们只在线程中捕获 shell 输出会发生什么：

threads = Array.new(400) { |i| Thread.new { `echo Hello #{i}` } }
threads.each(&:join)
# time: 0m0.098s

相对于连续

output = Array.new(400) { |i| `echo Hello #{i}` }
# time: 0m0.794s

* 事实上，这取决于几个因素。一些 VM (JRuby) 使用本机线程，并且更容易并行化。某些 Ruby 表达式比其他表达式更可并行化（取决于它们如何与 GVL 交互）。确保并行性的最简单方法是运行单个外部命令，例如子进程或系统调用，这些通常是无 GVL 的。

【讨论】：