Python中的多处理与线程

Question

我正在学习python中的多处理和线程来处理和创建大量文件，图在这里显示diagram

每个输出文件都依赖于所有输入文件的分析。

程序的单次处理需要相当长的时间，所以我尝试了以下代码：

(a) 多处理

start = time.time()
process_count = cpu_count()
p = Pool(process_count)
for i in range(process_count):
    p.apply_async(my_read_process_and_write_func, args=(i,w))

p.close()
p.join()
end = time.time()

(b) 线程

start = time.time()
thread_count = cpu_count()
thread_list = [] 

for i in range(0, thread_count):
    t = threading.Thread(target=my_read_process_and_write_func, args=(i,))
    thread_list.append(t)

for t in thread_list:
    t.start()

for t in thread_list:
    t.join()

end = time.time()

我在具有 8 个内核的 Windows PC 上使用 Python 3.6 运行这些代码。但是Multiprocessing方法与单处理方法的时间差不多，而Threading方法大约是单处理方法的75%。

我的问题是：

我的代码正确吗？

有没有更好的方法/代码来提高效率？ 谢谢！

Answer 1

您的处理受 I/O 限制，而不是 CPU 限制。结果，您拥有多个进程这一事实几乎没有帮助。多处理中的每个 Python 进程都在等待输入或输出，而 CPU 什么也不做。增加多处理中的池大小应该会提高性能。

Answer 2

按照 Tarik 的回答，由于我的处理受 I/O 限制，我制作了输入文件的多个副本，然后每个处理读取并处理这些文件的不同副本。 现在我的代码运行速度快了 8 倍。

Answer 3

现在我的处理图是这样的。 我的输入文件包括一个索引文件（大约 400MB）和 100 个其他文件（每个大小=330MB，可以认为是一个文件池）。 为了生成一个输出文件，需要读取文件池中的索引文件和所有文件。 （例如，索引文件的第一行是 15，然后需要读取文件池中每个文件的第 15 行以生成输出 file1。） 以前我在不复制的情况下尝试了多处理和线程，代码非常慢。然后我通过只为每个处理复制索引文件来优化代码，因此每个处理单独读取索引文件的副本，然后读取文件池以生成输出文件。 目前，使用 8 个 cpu 内核，poolsize=8 的多处理需要最少的时间。