如果线程生成速度过快，Ruby 工作分配会失败

Question

前几天我遇到了一个问题，我花了 2 个小时在错误的地方寻找答案。

在此过程中，我将代码精简为以下版本。只要我在创建线程的循环中有sleep(0.1)，这里的线程就可以工作。

如果省略该行，则创建所有线程 - 但只有线程 7 会实际使用队列中的数据。

有了这个“hack”，我确实有一个可行的解决方案，但我并不满意。我真的很好奇为什么会这样。

我在 Windows 2.4.1p111 下使用的是相当旧的 ruby​​ 版本。但是，我能够通过新的 ruby​​ 3.0.2p107 安装重现相同的行为

#!/usr/bin/env ruby

@q = Queue.new
      
# Get all projects (would be a list of directories)
projects = [*0..100]
projects.each do |project|
  @q.push project
end

def worker(num)
  while not @q.empty?
    puts "Thread: #{num} Project: #{@q.pop}"
    sleep(0.5)
  end
end 


threads=[]
for i in 1..7 do
  threads << Thread.new { worker(i) }
  sleep(0.1) # Threading does not work without this line - but why?
end

threads.each {|thread| puts thread.join }

puts "done"

Answer 1

有趣的错误！这是一个竞争条件。

并不是只有线程 7 在工作，而是所有线程都在引用内存中的同一个变量 i（只有一个副本！）所以因为 数字 7 最后写入（假定在任何线程开始之前）它们都读取相同的 i==7。

试试这个工作函数，看看它是否不能清除问题

def worker(num)
  my_thread_id = Thread.current.object_id

  while not @q.empty?
    puts "Thread: #{num} NumObjId: #{num.object_id} ThreadId: #{my_thread_id} Project: #{@q.pop}"
    sleep(0.5)
  end
end

请注意，所有线程中的 NumObjId 都是相同的。它们都指向同一个数字。但是我们得到的实际 ThreadId 是不同的。

如果您确实需要每个线程中的数字，请分配与线程一样多的数字。类似的东西

ids = (1..7).to_a
ids.each do |i|
  threads << Thread.new { worker(i) }
end