并行化 pandas 列更新

Question

我需要根据所选值列表的处理来更新熊猫数据框的列（下面的代码中的df0['parcels'].values）。该代码运行良好，但很长，因为所选值的列表相当长，有 45000 个值。此代码需要 5 小时才能完成任务。

因为对每个选定值的处理是独立的。我想尝试并行化它以提高速度。

import numpy as np
import pandas as pd
from scipy.ndimage import distance_transform_edt as edt

for i in df0['parcels'].values:
    y, x = np.where(parcels == i)
    tmp = parcels[np.min(y) - 5:np.max(y) + 6, np.min(x) - 5:np.max(x) + 6]
    dst = edt(tmp, sampling=r_parcels)
    par = tmp[dst <= 20]
    par = par[par != -9999]
    mod, cnt = ss.mode(par)
    df['parcels'] = df['parcels'].replace(i, mod[0])

Answer 1

您可以使用 multiprocessing 中提供的 Pool 进行并行化。

import numpy as np
import pandas as pd
from scipy.ndimage import distance_transform_edt as edt

import multiprocessing as mp

def func(i): # change the body of the loop to function
    y, x = np.where(parcels == i)
    tmp = parcels[np.min(y) - 5:np.max(y) + 6, np.min(x) - 5:np.max(x) + 6]
    dst = edt(tmp, sampling=r_parcels)
    par = tmp[dst <= 20]
    par = par[par != -9999]
    mod, cnt = ss.mode(par)
    return (df['parcels'].replace(i, mod[0]))

num_workers = mp.cpu_count()  
pool = mp.Pool(num_workers)
df['parcels'] = pool.map(func,df0['parcels'].values) # specify the function and arguments to map 
pool.close()
pool.join()

您也可以使用 pool.map_async() 或 pool.apply_async()，因为 ma​​p() 会阻塞。并行化的一般逻辑保持不变。