多处理ThreadPool读写文件

Question

我有超过 10000 个文件需要打开，其中一些我需要删除部分数据 试图用线程池来做，但从它开始我认为它不起作用

from multiprocessing.pool import ThreadPool

def readwrite(file):
    with open(file,'rb') as f:
        #check something
    #if check something is True
    #else return
    with open(new_file,'wb') as f:
        with open(file,'rb') as g:
             #here i write only the lines i need from the first file
pool = ThreadPool(40)
for file in files:
    pool.apply_async(readwrite,(file,))

Answer 1

看docs的例子：

pool.apply_async(f, (20,)) # runs in *only* one process

正如它所说，这样的调用只使用池中的一个进程/线程。

您应该改用pool.map()。示例如下：

from multiprocessing import Pool

def readwrite(filename):
    pass
    # Your code here

if __name__ == '__main__':
    with Pool(5) as p:
        results = p.map(readwrite, filenames)

Answer 2

你不能那样做，如果你有超过 10,000 个文件，这意味着可能有超过 10,000 个线程，这对于普通计算机来说单核处理太多了，如果你最好一个一个地检查它们重新使用线程，你可以计算它需要的时间，并跟踪你重写了多少文件，处理能力和计算能力是什么。如果您的 CPU 上有多个内核，您可以尝试使用 multiprocessing 模块将其最大化 "The “multi” in multiprocessing refers to the multiple cores in a computer's central processing unit (CPU)" ，通常是 2 或 4 个核心，您可以像下面的示例中的 How to use multiprocessing pool.map with multiple arguments

def multi_run_wrapper(args):
   return add(*args)

def add(x,y):
    return x+y

if __name__ == "__main__":
    from multiprocessing import Pool
    pool = Pool(4)
    results = pool.map(multi_run_wrapper,[(1,2),(2,3),(3,4)])
    print results