Python - 同时运行函数（多实例）

Question

我构建了一个小函数，该函数将使用 3rd 方 API 收集一些数据。调用 if def MyFunc(Symbol, Field) 将根据给定的符号返回一些信息。

这个想法是用返回值填充 Pandas df，使用类似的东西：

df['MyNewField'] = df.apply(lamba x: MyFunc(x, 'FieldName'))

所有这些工作但是，每个查询大约需要 100 毫秒 来运行。这似乎很快，直到您意识到您可能有 30,000 或更多的事情要做（3,000 个符号，每个符号有 10 个字段）。

我想知道是否有一种方法可以同时运行它，因为每个请求都是独立的？我不是在寻找多处理器等库，而是一种同时对第三方进行多个查询的方法，以减少收集所有数据所需的时间。 （另外，我想这会改变用于存储所有接收到的数据的初始结构——我不介意一开始不使用 Apply 和我的数据框，而是将接收到的数据保存在文本或库类型结构中——）。

注意：虽然我希望我可以将 MyFunc 更改为一次请求多个符号/字段，但这不能在所有情况下都完成（这意味着某些字段不允许这样做，并且单个请求是唯一的方法）。这就是我关注并发执行而不是更改 MyFunc 的原因。

谢谢！

Answer 1

有许多库可以并行化 pandas 数据框。但是，我更喜欢原生多处理池来做同样的事情。另外，我使用 tqdm 来了解进度。

import numpy as np
from multiprocessing import cpu_count, Pool

cores = 4 #Number of CPU cores on your system
partitions = cores #Define as many partitions as you want

def partition(data, num_partitions):
    partition_len = int(len(data)/num_partitions)
    partitions = []

    num_rows = 0
    for i in range(num_partitions-1):
        partition = data.iloc[i*partition_len:i*partition_len+partition_len]
        num_rows = num_rows + partition_len
        partitions.append(partition)

    partitions.append(data.iloc[num_rows:len(data)])
    return partitions

def parallelize(data, func):
    data_split = partition(data, partitions)
    pool = Pool(cores)
    data = pd.concat(pool.map(func, data_split))
    pool.close()
    pool.join()
    return data

df['MyNewField'] = parallelize(df['FieldName'], MyFunc)