从表示多级字典的字符串创建 Dask Dataframes

Question

我有一个庞大的数据集，我正在尝试从字符串列表中制作 dask 数据帧

df_.head():

A   |            B              |     C
----------------------------------------
1   | "{a:1, {b:2, c:3}, d:5}"  |     4
2   | "{a:5, {b:2, c:3}, d:0}"  |     7
...

注意c列是一个字符串，所以我必须做一个literal_eval。

在熊猫中我做了以下事情：

import ast

for i in range(0,len(df_),1):
    df_.at[i,'B'] = ast.literal_eval(df_.iloc[i,2])

dat = pd.DataFrame()
for i in range(len(df_)):
#Makes the list of dicts into a dataframe
b = pd.DataFrame(df_.iloc[i,2])
#Keeps track of row number
b['A']=i
#Concat with master DF
dat=pd.concat([dat,b], axis=0, ignore_index=True)

然后，在此之后，我将 dat 与基于 A 列的原始数据框 (df_) 合并。

这个过程需要很长时间，所以我想在黎明时分完成。

谢谢。

Answer 1

dat=pd.concat([dat,b],axis=0,ignore_index=True)

在这一行中，您重复分配了一个新的 Pandas 数据框，其大小不断增加。每次迭代重新创建数据框可能非常非常慢。

您可以尝试使用像 map 或 apply 这样的 Pandas 操作来一次性对您的输入数据帧执行此操作。

您可能在这里不需要 Dask。在引入并行计算的额外复杂性之前，最好从上面列出的更简单的优化开始。