【问题标题】:Deepcopy pandas DataFrame containing python objects (such as lists)Deepcopy pandas DataFrame 包含 python 对象(例如列表)
【发布时间】:2019-03-06 20:11:09
【问题描述】:

需要帮助理解变量赋值、指针...

以下是可重现的。

import pandas as pd

df = pd.DataFrame({
    'listData': [
        ['c', 'f', 'd', 'a', 'e', 'b'], 
        [5, 2, 1, 4, 3]
    ]})

df['listDataSort'] = df['listData']

给予:

             listData        listDataSort
0  [c, f, d, a, e, b]  [c, f, d, a, e, b]
1     [5, 2, 1, 4, 3]     [5, 2, 1, 4, 3]

如果我只想对listDataSort 列中的列表进行排序,我可以尝试:

df['listDataSort'].apply(lambda l: l.sort())
df

但是,这会对两列中的列表进行就地排序。

             listData        listDataSort
0  [a, b, c, d, e, f]  [a, b, c, d, e, f]
1     [1, 2, 3, 4, 5]     [1, 2, 3, 4, 5]

我可以通过以下方式解决此问题:

df = pd.DataFrame({
    'listData': [
        ['c', 'f', 'd', 'a', 'e', 'b'], 
        [5, 2, 1, 4, 3]
    ]})

df['listDataSort'] = df['listData'].apply(sorted)

给予:

             listData        listDataSort
0  [c, f, d, a, e, b]  [a, b, c, d, e, f]
1     [5, 2, 1, 4, 3]     [1, 2, 3, 4, 5]

将 df 分配给不同的变量,例如 df2 仍然会将所有内容更改回原始源列表。此外,如何基于现有数据框创建新数据框,以便在不对现有数据框进行相同更改的情况下对新数据框进行更改?

df = pd.DataFrame({
    'listData': [
        ['c', 'f', 'd', 'a', 'e', 'b'], 
        [5, 2, 1, 4, 3]
    ]})

df2 = df
print('\ndf\n', df)
print('\ndf2\n', df2)

df2['listDataSort'] = df2['listData']
print('\ndf\n', df)
print('\ndf2\n', df2)

df2['listDataSort'].apply(lambda l: l.sort())
print('\ndf\n', df)
print('\ndf2\n', df2)

打印:

df
             listData
0  [c, f, d, a, e, b]
1     [5, 2, 1, 4, 3]

df2
             listData
0  [c, f, d, a, e, b]
1     [5, 2, 1, 4, 3]

df
             listData        listDataSort
0  [c, f, d, a, e, b]  [c, f, d, a, e, b]
1     [5, 2, 1, 4, 3]     [5, 2, 1, 4, 3]

df2
             listData        listDataSort
0  [c, f, d, a, e, b]  [c, f, d, a, e, b]
1     [5, 2, 1, 4, 3]     [5, 2, 1, 4, 3]

df
             listData        listDataSort
0  [a, b, c, d, e, f]  [a, b, c, d, e, f]
1     [1, 2, 3, 4, 5]     [1, 2, 3, 4, 5]

df2
             listData        listDataSort
0  [a, b, c, d, e, f]  [a, b, c, d, e, f]
1     [1, 2, 3, 4, 5]     [1, 2, 3, 4, 5]

还有:

df = pd.DataFrame({
    'listData': [
        ['c', 'f', 'd', 'a', 'e', 'b'], 
        [5, 2, 1, 4, 3]
    ]})
print('\ndf\n', df)

df3 = df
df3['listDataSort'] = df3['listData'].apply(sorted)
print('\ndf\n', df)
print('\ndf3\n', df3)

打印:

df
             listData
0  [c, f, d, a, e, b]
1     [5, 2, 1, 4, 3]

df
             listData        listDataSort
0  [c, f, d, a, e, b]  [a, b, c, d, e, f]
1     [5, 2, 1, 4, 3]     [1, 2, 3, 4, 5]

df3
             listData        listDataSort
0  [c, f, d, a, e, b]  [a, b, c, d, e, f]
1     [5, 2, 1, 4, 3]     [1, 2, 3, 4, 5]

【问题讨论】:

    标签: python python-3.x pandas memory-management


    【解决方案1】:

    当你运行时

    df['listDataSort'] = df['listData']
    

    您只需将列表的引用复制到新列。这意味着只执行浅拷贝,并且两列都引用相同的列表。因此,对某一列的任何更改都可能会影响另一列。

    您可以将列表推导与sorted 一起使用,它会返回数据的副本。这应该是您最简单的选择。

    df['listDataSort'] = [sorted(x) for x in df['listDataSort']]
    df
    
                 listData        listDataSort
    0  [c, f, d, a, e, b]  [a, b, c, d, e, f]
    1     [5, 2, 1, 4, 3]     [1, 2, 3, 4, 5]
    

    现在,当涉及到复制整个 DataFrame 的问题时,事情就有点复杂了。我会推荐deepcopy

    import copy
    df2 = df.apply(copy.deepcopy)
    

    【讨论】:

    • 来自 OP:df['listDataSort'] = df['listData'].apply(sorted) 与我对列的解决方案几乎相同,不确定哪个更快,也许使用numpy.sort 会更快。感谢您将我指向deepcopy
    猜你喜欢
    • 1970-01-01
    • 2019-02-20
    • 2021-10-04
    • 1970-01-01
    • 1970-01-01
    • 2018-08-29
    • 2021-02-15
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多