【问题标题】:How to loop over multiple subsets, perform operations and take the results to the original dataframe in python?如何遍历多个子集,执行操作并将结果带到 python 中的原始数据帧?
【发布时间】:2020-01-14 10:27:28
【问题描述】:

我有一个包含数百万行和大约 10 万个唯一 ID 号的数据框。我想按唯一 ID 执行操作。现在,我为每个唯一 ID 生成一个子集并相应地执行一些操作。这个循环有效。但是如何有效地将子集组合到一个数据帧中呢?

也许有一种更有效的方法来执行每个唯一 ID 子集的操作。

谢谢

for ID in np.unique(df_fin['ID']):
    ID_subset = df_fin.loc[df_fin['ID'] == ID]

    for i in ID_subset.index:
        if ID_subset['date_diff'][i] > 0:
            for p in range(0,ID_subset['date_diff'][i]):
                if p == WIP:
                    sl.appendleft(ID_subset.return_bin[i-1])
                else:
                    sl.appendleft(0)

                lissa = list(sl)
                ID_subset.at[i,'list_stock'] = lissa

    frames = [ID_subset] #this does not work
    final_mod = pd.concat(frames) #this also does not work

这是有效的: 我也尝试使用 groupby.apply。请参阅下面的代码。

def create_stocklist(x):
    x['date_diff'] = x['dates'] - x['dates'].shift()
    x['date_diff'] = x['date_diff'].fillna(0)
    x['date_diff'] = (x['date_diff'] / np.timedelta64(1, 'D')).astype(int)
    x['list_stock'] = x['list_stock'].astype(object)
    x['stock_new'] = x['stock_new'].astype(object)

    var_stock = DOS*[0]
    sl = deque([0],maxlen=DOS)

    for i in x.index:
        if x['date_diff'][i] > 0:
            for p in range(0,x['date_diff'][i]):
                if p == WIP:
                    sl.appendleft(x.return_bin[i-1])
                else:
                    sl.appendleft(0)

                lissa = list(sl)
                x.at[i,'list_stock'] = lissa
    return x

df_fin.groupby(by=['ID']).apply(create_stocklist)

【问题讨论】:

  • 你有没有机会去看 Pandas groupby ?

标签: python pandas subset


【解决方案1】:

一种方法可能是:

for g, _id in df_din.groupby(by=['ID']):
    # do stuff with g

g 是一个包含所有行的数据框,例如 df_fin['ID'] == _id

【讨论】:

  • 已经用 groupby.apply 函数完成了。谢谢@Pierluigi
猜你喜欢
  • 2017-10-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多