用于嵌套循环的python线程

Question

我编写了一个运行良好的程序，但是，我很确定有一种方法可以加快它的速度。

最初，我在没有从下面设置线程的情况下编写它（尽管如此，我感觉下面设置的线程根本没有效果）。

我会提前说，我对线程、处理或我的代码的任何性能改进完全陌生。

我希望有人能仔细观察下面的 sn-p，看看是否有一种方法可以实现一些东西来运行并行线程/进程等（总而言之，以加快速度或至少处理更多文件）

我在尝试获得任何其他性能加速以使用下面的嵌套 for 循环时也遇到了麻烦：

for file in files:
    for IPAddress in IPAddresses:

• files - 是（压缩的）文件列表
• IPAddresses - 是 IP 地址列表

if __name__ == '__main__':

    files = [
        'file1',
        'file2',
        'file3'
    ]

    IPAddresses = [
        '1.1.1.1',
        '1.1.1.2',
        '1.1.1.3'
    ]

    threads = []
    for file in files:
        for IPAddress in IPAddresses:
            t = threading.Thread(target=Search_files(file, IPAddress))
            t.start()
            threads.append(t)
            print('file: ' + file + ' processed for IP Address: ' + IPAddress.upper() + '\n')

        for thread in threads:
            thread.join()

Answer 1

这里是如何使用multiprocessing.Pool 和itertools.product 的示例：

import multiprocessing
from time import sleep
from itertools import product


files = ["file1", "file2", "file3"]

IPAddresses = ["1.1.1.1", "1.1.1.2", "1.1.1.3"]


def my_func(tpl):
    f, ip = tpl
    sleep(1)
    return f"Done {f}-{ip}!"


if __name__ == "__main__":
    with multiprocessing.Pool() as p:
        for res in p.imap_unordered(my_func, product(files, IPAddresses)):
            print(res)

在结果进入时打印（无序），应使用所有 CPU 内核：

Done file1-1.1.1.1!
Done file1-1.1.1.2!
Done file3-1.1.1.2!
Done file2-1.1.1.3!
Done file2-1.1.1.2!
Done file2-1.1.1.1!
Done file1-1.1.1.3!
Done file3-1.1.1.3!
Done file3-1.1.1.1!