循环 Pandas DataFrame 以进行 API 调用的最快方法

Question

我的目标是为 Pandas DataFrame 中的每一行调用一个 API，其中包含响应 JSON 中的字符串列表，并创建一个新的 DataFrame，每个响应一行。我的代码基本上是这样的：

i = 0
new_df = pandas.DataFrame(columns = ['a','b','c','d'])
for index,row in df.iterrows():
    url = 'http://myAPI/'
    d = '{"SomeJSONData:"' + row['data'] + '}'
    j = json.loads(d)
    response = requests.post(url,json = j)

    data = response.json()
    for new_data in data['c']:
        new_df.loc[i] = [row['a'],row['b'],row['c'],new_data]
        i += 1

这工作正常，但我正在进行大约 5500 次 API 调用并将大约 6500 行写入新的 DataFrame，因此需要一段时间，可能需要 10 分钟。我想知道是否有人知道加快速度的方法？我对在 Python 中运行并行 for 循环不太熟悉，这可以在保持线程安全的同时完成吗？

Answer 1

也许是这样的？这样您就不会创建一个全新的数据框，您只需声明一次 URL，并且您正在利用 pandas 列操作比逐行操作更快的事实。

url = 'http://myAPI/'

def request_function(j):
    return requests.post(url,json = json.loads(j))['c'] 

df['j']= '{"SomeJsonData:"' + df['data'] + '}'
df['new_data'] = df['j'].apply(request_function)

现在证明在这种情况下使用 apply （ String data ）确实快得多，这里有一个简单的测试：

import numpy as np
import pandas as pd
import time

def func(text):
    return text + ' is processed'


def test_one():
    data =pd.DataFrame(columns = ['text'], index = np.arange(0, 100000))
    data['text'] = 'text'

    start = time.time()
    data['text'] = data['text'].apply(func)
    print(time.time() - start)


def test_two():
    data =pd.DataFrame(columns = ['text'], index = np.arange(0, 100000))
    data['text'] = 'text'

    start = time.time()

    for index, row in data.iterrows():
        data.loc[index, 'text'] = row['text'] + ' is processed'

    print(time.time() - start)

对数据帧的字符串操作的结果。

test_one（使用应用）：0.023002147674560547

test_two（使用 iterrows）：18.912891149520874

基本上，通过使用添加两列和应用的内置pandas操作，您应该会获得更快的结果，您的响应时间确实受到API响应时间的限制。如果结果仍然太慢，您可能会考虑编写一个将结果保存到列表的异步函数。然后你 send.apply 那个异步函数。