合并两个数据帧以减少内存消耗

Question

我试图在我的数据框列中分解一个列表并将其合并回 df，但是在将展平列与初始数据框合并时出现内存错误。我想知道我是否可以将它合并成块，这样我就可以克服内存问题。

def flatten_colum_with_list(df, column, reset_index=False):
        column_to_flatten = pd.DataFrame([[i, x] for i, y in df[column].apply(list).iteritems() for x in y], columns=['I', column])
        column_to_flatten = column_to_flatten.set_index('I')
        df = df.drop(column, axis=1)
        df = df.merge(column_to_flatten, left_index=True, right_index=True)
        if reset_index:
            df = df.reset_index(drop=True)
        return df

我将不胜感激。

Answer 1

对此，您可以简单地使用以下代码：

df.explode(*column name here*,ignore_index=True)

ignore_index 设置为 true 会将索引设置为 0,1,2,........ 顺序。