谁能告诉我一种在 python 中将数据添加到 pandas 数据帧中的方法，而多个线程将使用一个函数，其中数据必须附加到数据帧中......？
我的代码从 URL 中抓取数据，然后我正在使用 df.loc[索引]... 将报废的行添加到数据框中。
自从我启动了一个多线程以来，它基本上将每个 URL 分配给每个线程。 所以简而言之，很多页面都被一次刮掉了......
如何将这些行附加到数据框中？
【问题讨论】：
标签： python multithreading pandas dataframe
不建议将行逐一添加到数据框。我建议你在列表中构建你的数据，然后在最后组合这些列表，然后在整个数据集的最后只调用一次 DataFrame 构造函数。
例子：
# help from http://stackoverflow.com/a/28463266/3393459
# and http://stackoverflow.com/a/2846697/3393459
from multiprocessing.dummy import Pool as ThreadPool
import requests
import pandas as pd
pool = ThreadPool(4)
# called by each thread
def get_web_data(url):
return {'col1': 'something', 'request_data': requests.get(url).text}
urls = ["http://google.com", "http://yahoo.com"]
results = pool.map(get_web_data, urls)
print results
print pd.DataFrame(results)
【讨论】：