多进程读取文件

Question

我正在尝试从 2 个文件中多核读取数据，但执行此代码后 list1 和 list2 为空。

from multiprocessing import Process

def getfile(fn, out):
    print("start reading file {}".format(fn))
    with open(fn) as file:
        for line in file:
            out.append(line)

if __name__ == '__main__':
    file1 = []
    file2 = []
    p1 = Process(target=getfile, args=("100.txt", file1))
    p2 = Process(target=getfile, args=("98.txt", file2))
    p1.start()
    p2.start()

    p1.join()
    p2.join()
    print(file1)
    print(file2)

如何使用多处理将文件中的数据写入列表或可迭代的东西？

Answer 1

当使用多个进程时，使用Queues 或Pipes 在您的父进程和您衍生的进程之间交换数据。

管道直观地允许您在父进程和子进程之间传递数据。

队列允许您的子进程在队列中存储一些数据，以便您的父进程检索它。

在您的情况下，队列最有意义，因为您的父进程似乎不需要在子进程生成后将任何数据传递给子进程。

这是一个文件的示例：

from multiprocessing import Process, Queue

def getfile(fn, out):
    with open(fn) as file:
        for line in file:
            out.put(line)

if __name__ == '__main__':
    file1 = Queue()
    p1 = Process(target=getfile, args=("100.txt", file1))
    p1.start()
    file1.get() //returns lines of the file
    p1.join()

您可以将同一个队列传递给两个进程，只需注意消息的顺序可能会在两个文件之间混合，以防您尝试分隔每个文件的内容。