我可以同时运行两个多线程函数吗？

Question

我对多线程非常陌生。我的 python 脚本中有 2 个函数。一个函数enqueue_tasks 遍历一个大的小项目列表，并对每个项目执行一项任务，该任务涉及将项目附加到列表中（我们称之为master_list）。这个我已经使用futures多线程了。

executor = concurrent.futures.ThreadPoolExecutor(15) # Arbitrarily 15
futures = [executor.submit(enqueue_tasks, group) for group in grouper(key_list, 50)]
concurrent.futures.wait(futures)

我还有另一个函数process_master 遍历上面的master_list 并检查列表中每个项目的状态，然后执行一些操作。

我可以使用上面相同的方法为process_master 使用多线程吗？此外，我可以让它与enqueue_tasks 同时运行吗？这意味着什么？ process_master 依赖于来自enqueue_tasks 的列表，那么同时运行它们会不会有问题？有没有办法可以稍微延迟第二个功能？ （也许使用time.sleep）？

Answer 1

不，这不安全。如果enqueue_tasks 和process_master 同时运行，您可能会在enqueue_tasks 内向master_list 添加项目，同时process_master 正在对其进行迭代。在迭代时更改可迭代对象的大小会导致 Python 中出现未定义的行为，因此应始终避免。您应该使用threading.Lock 来保护将项目添加到master_list 的代码以及迭代master_list 的代码，以确保它们不会同时运行。

更好的是，使用Queue.Queue（Python 3.x 中的queue.Queue）而不是list，这是一种线程安全的数据结构。将项目添加到enqueue_tasks 中的Queue 和process_master 中Queue 中的get 项目。这样process_master 可以与enqueue_tasks 在同一时间安全运行。