python多处理读取文件花费太多时间

Question

我的代码中有一个函数应该读取文件。每个文件大约 8M，但是读取速度太低，为了改进我使用多处理。可悲的是，它似乎被阻塞了。我想知道有什么方法可以帮助解决这个问题并提高阅读速度？

我的代码如下：

import multiprocessing as mp
import json
import os

def gainOneFile(filename):

    file_from = open(filename)
    json_str = file_from.read()
    temp = json.loads(json_str)
    print "load:",filename," len ",len(temp)
    file_from.close()
    return temp

def gainSortedArr(path):
    arr = []
    pool = mp.Pool(4)
    for i in xrange(1,40):
        abs_from_filename = os.path.join(path, "outputDict"+str(i))
        result = pool.apply_async(gainOneFile,(abs_from_filename,)) 
        arr.append(result.get())

    pool.close()
    pool.join()                                               
    arr = sorted(arr,key = lambda dic:len(dic))

    return arr

以及调用函数：

whole_arr = gainSortedArr("sortKeyOut/")  

Answer 1

你有几个问题。首先，你没有并行化。你这样做：

result = pool.apply_async(gainOneFile,(abs_from_filename,)) 
arr.append(result.get())

一遍又一遍地分派一个任务，然后立即调用.get()，它会在您分派任何其他任务之前等待它完成；您实际上永远不会同时运行一个以上的工人。存储所有结果而不调用.get()，然后稍后调用.get()。或者只使用Pool.map 或相关方法，省去手动个人结果管理的一些麻烦，例如（使用imap_unordered 来最小化开销，因为你只是在排序）：

# Make generator of paths to load
paths = (os.path.join(path, "outputDict"+str(i)) for i in xrange(1, 40))
# Load them all in parallel, and sort the results by length (lambda is redundant)
arr = sorted(pool.imap_unordered(gainOneFile, paths), key=len)

其次，multiprocessing 必须腌制和取消腌制在主进程和工作程序之间发送的所有参数和返回值，并且它们都通过管道发送，这会导致系统调用开销来启动。由于您的文件系统不太可能从并行读取中获得显着的速度，因此很可能是净损失，而不是收益。

您可能可以通过切换到基于线程的池获得一点提升；将import 更改为import multiprocessing.dummy as mp，您将获得一个在线程方面实现的Pool 版本；它们不能围绕 CPython GIL 工作，但由于这段代码几乎可以肯定是 I/O 绑定的，这几乎不重要，它消除了酸洗和解酸以及工作人员通信中涉及的 IPC。

最后，如果您在类似 UNIX 的系统上使用 Python 3.3 或更高版本，您可以让操作系统更积极地将文件拉入系统缓存，从而帮助您解决问题。如果您可以打开文件，则在文件描述符上使用os.posix_fadvise（在文件对象上使用.fileno()）和WILLNEED 或SEQUENTIAL，当您从通过在您请求文件数据之前积极预取文件数据，在稍后的某个时间点文件。