Python 多处理非常慢

Question

我试图在一个循环中多次运行 pyomo/python 中的优化模型，只有一个变化的参数是 c_param，而 c_param 的值是 1 到 170。我也在尝试使用并行计算来做到这一点具有 6 个处理器的多处理模块。但是，我认为我的设置方式有一些错误，因为多处理方法比没有多处理要慢。所以我有：

    import multiprocessing as mp

    # Global parameters defined here.
    S = list(range(170))
    def my_model(c_param):
        # My pyomo model here
        # Print model results to csv

    if __name__ == "__main__":
        c_param= [i + 1 for i in S]

        pool = mp.Pool(6)
        pool.map(my_model, S)
        pool.close()
        pool.join()

我希望打印出 170 个 csv 文件。我可以通过正常循环来实现这一点，但这样做需要大约 40 小时。我希望使用 6 个处理器将其加速到 6-7 小时，但不知何故这需要更长的时间。我在那里做错了什么会减慢这个过程吗？提前感谢您的帮助！

Answer 1

如果模型函数包含许多和/或深度嵌套的对象，则可能需要更长时间，因为在将对象发送到其他进程之前需要对其进行腌制/序列化。但是，如果不知道模型函数中的内容，就很难分辨。