Python队列组合

Question

假设我有两个队列，分别叫它们colors 和numbers：

colors = Queue.Queue()
numbers = Queue.Queue()

它们每个都包含几个项目：

for color in ['red', 'orange', 'yellow', 'green', 'blue', 'indago', 'violet']:
    colors.put(color)
for i in xrange(20):
    numbers.put(i)

还有一个处理数字和字母组合的函数：

def handle():
    while not colors.empty()
        color = colors.get()
        number = numbers.get()
        print "Foo: %s bar: %d" % (color, number)
        colors.task_done()
        numbers.task_done()

将被线程化：

children = []
for i in xrange(num_threads):
    children.append(threading.Thread(target=handle))

但我想打印所有可能的颜色和数字组合，而不是只打印每种颜色和数字，最有效的方法是什么？ 这是我希望输出的样子：http://pastebin.com/yhksKswr

问题（我想是很好的功能）是Queue.get() 删除了它从队列中返回的项目，以便每个项目只使用一次。

Answer 1

您可能采取的一种方法是用元组填充单个队列，每个元组包含一个“颜色”和一个“数字”。换句话说，生成cartesian product of the two lists 作为初始步骤，然后通过线程安全队列将它们分发给线程工作人员。

顺便说一句，根据我的经验，在进程级别进行并行化比 Python 中的线程更划算。您可以尝试使用 Redis 或Celery to distribute your jobs across many workers（在相同或不同的机器上执行）。

Answer 2

似乎这可能太连续且太小而无法线程化。使用并行算法解决问题的关键是必须有一种方法将其分解为大小大致相等的子问题，每个子问题的计算量都相当大（以使创建新线程的开销值得做） ，并且不需要解决前一个子问题来解决另一个子问题（因为这样一个线程就没有在等待另一个线程了）。

您将不得不跟踪当前的颜色和数字是什么并遍历它们，所以它可能看起来像这样：

for color in colors:
  for number in numbers:
    t = threading.Thread(target=make_combination, args=(color, number))
    t.run()

def make_combination(c, n):
  # make a combination

但是由于创建线程需要很长时间，所以最好在循环中调用make_Combination。

如果你真的想用线程来做，我会：

1. 用所有颜色和数字初始化Queue。
2. 创建n 线程。
3. 让每个线程获取一种颜色，复制数字队列，然后用每个数字打印颜色。
4. 每个线程重复 #3 直到颜色队列为空。

所以：

for color in ['red', 'orange', 'yellow', 'green', 'blue', 'indago', 'violet']:
    colors.put(color)
numbers = list(range(20)) # We won't be using it like a queue, so just make it a list.

for i in range(0, num_threads):
  threading.Thread(target=handle)

def handle():
  while not colors.empty():
    color = colors.get()
    for i in numbers:
      print color, i # Edit this to get it to print what you want

但重要的是不要这样几乎永远不会按顺序打印。

还有multiprocessing.Pool:

# Initialize as lists
colors = [...]
numbers = [...]

def handle(c, n):
  # do something with c and n

p = multiprocessing.Pool(num_processes)
for c in colors:
  for n in numbers:
    p.apply_async(handle, (c, n)) # it's either this or "p.apply_async(handle, args = (c, n))". Can't remember.
    # The above basically means "call handle(c, n) in another process". There are ways to get the return value, too, if you want it. (See the docs about Pool and AsyncResult.)

p.close() # No more jobs to submit.
p.join() # Wait for jobs to finish.