【问题标题】:Multiprocessing with class functions and class attributes具有类函数和类属性的多处理
【发布时间】:2017-04-09 18:22:26
【问题描述】:

我有一个 pandas 数据框,它有数百万行,我必须进行逐行操作。由于我有一个多核 CPU,我想使用 Multiprocessing 加速该过程。我想这样做的方法是将数据帧拆分为大小相等的数据帧,并在单独的进程中处理它们中的每一个。到目前为止,一切都很好... 问题是,我的代码是用 OOP 风格编写的,并且使用多进程池时出现 Pickle 错误。我所做的是,我将对类函数self.X 的引用传递给池。我进一步使用X 中的类属性(只有读取权限)。我真的不想切换回函数式编程风格......因此,是否可以在 OOP 环境中进行多处理?

【问题讨论】:

    标签: oop pandas multiprocessing python-3.5


    【解决方案1】:

    只要你的类中的所有元素(你传递给子进程的元素)都是可腌制的,它就应该是可能的。这是你唯一需要确定的。如果你的类中有任何元素不是,那么你不能将它传递给一个池。即使你只通过self.x,其他像self.y 这样的东西也必须是可腌制的。

    我这样处理我的 pandas Dataframe:

    import pandas as pd
    import multiprocessing as mp
    import numpy as np
    import time
    
    
    def worker(in_queue, out_queue):
        for row in iter(in_queue.get, 'STOP'):
            value = (row[1] * row[2] / row[3]) + row[4]
            time.sleep(0.1)
            out_queue.put((row[0], value))
    
    if __name__ == "__main__":
        # fill a DataFrame
        df = pd.DataFrame(np.random.randn(1e5, 4), columns=list('ABCD'))
    
        in_queue = mp.Queue()
        out_queue = mp.Queue()
    
        # setup workers
        numProc = 2
        process = [mp.Process(target=worker,
                              args=(in_queue, out_queue)) for x in range(numProc)]
    
        # run processes
        for p in process:
            p.start()
    
        # iterator over rows
        it = df.itertuples()
    
        # fill queue and get data
        # code fills the queue until a new element is available in the output
        # fill blocks if no slot is available in the in_queue
        for i in range(len(df)):
            while out_queue.empty():
                # fill the queue
                try:
                    row = next(it)
                    in_queue.put((row[0], row[1], row[2], row[3], row[4]), block=True)  # row = (index, A, B, C, D) tuple
                except StopIteration:
                    break
            row_data = out_queue.get()
            df.loc[row_data[0], "Result"] = row_data[1]
    
        # signals for processes stop
        for p in process:
            in_queue.put('STOP')
    
        # wait for processes to finish
        for p in process:
            p.join()
    

    这样我就不必传递大量的 DataFrame,也不必考虑课堂上的可腌制元素。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-06-14
      • 2021-10-27
      • 2021-02-05
      • 1970-01-01
      • 1970-01-01
      • 2016-01-04
      • 1970-01-01
      相关资源
      最近更新 更多