为什么我们在分配数据帧转置时会丢失数据？

Question

假设我有一个像

这样的数据框

df = pd.DataFrame({'A':[1,2,3,4],'B':[1,3,4,7]})

甲乙 0 1 1 1 2 3 2 3 4 3 4 7

当我分配一些数据来转置数据帧时，没有错误，即

df.T['C'] = 3

运行后数据框没有变化。

但问题是数据存储在哪里？为什么它没有给出任何错误？我期待这种分配的错误或像

这样的输出 甲乙 0 1 1 1 2 3 2 3 4 3 4 7 C 3 3

我做df.T['C'] = 3时都没有发生

编辑：正如@Zero 提到的，我们可能不得不这样做

df = df.T.assign(C=3).T # Which is like df.loc['C',:] = 3

Answer 1

df.T 是一个不同的对象。您所做的更改不会反映在原始 df 中。它在哪里？由于没有指向它的变量，它要么已经被垃圾收集器收集，要么正在等待收集。您无法访问它。

你可以做的是创建一个新变量

transposed = df.T

transposed['C'] = 3

transposed
Out: 
   0  1  2  3  C
A  1  2  3  4  3
B  1  3  4  7  3   

当您调用任何返回新 DataFrame 的方法时，也会发生同样的事情。 df.drop(0)['C'] = 2、df.reset_index()['C'] = 3 或 df.drop_duplicates()['C'] = 3。原始 DataFrame 始终保持不变。创建了另一个 DataFrame，并为其分配了确切的行，但是一旦执行该语句，它就变得不可访问，因为您没有任何变量指向它。关于CPython的垃圾回收，有一些有用的资料here。

---

从@Bharath 编辑：

（我的一位老师给出的解释）

T returns a copy。这意味着分配新内存来存储新对象。如果你查看 python 垃圾收集，你会发现内存中的每个对象都有一个计数器，用于记录有多少指针指向它。

当垃圾收集运行时，它会在内存中找到这个对象，并看到它的指针为零。因为它的指针为零，所以垃圾收集器将回收内存并且对象永远消失了。

因此建议通过分配名称（或变量）来保持指向对象的单个指针。

Answer 2

方法T 执行return super(DataFrame, self).transpose(1, 0, **kwargs)。
它将创建另一个 DataFrame。

Answer 3

除了现有的答案，我想提请您注意 -

df

   A  B
0  1  1
1  2  3
2  3  4
3  4  7

df.T['C'] = 3

df

   A  B
0  1  1
1  2  3
2  3  4
3  4  7

而且，与 python lists 类似的情况 -

l = [1, 2, 3, 4, 5]
l[:].append(6)

l
[1, 2, 3, 4, 5]

在这两种情况下都会发生一个新对象！然后将该操作应用于 那个 新创建的对象，之后，该对象被垃圾回收，因为没有指向它的活动引用。你看这个 -

import sys

sys.getrefcount(df.T)
1

对该对象只有一个引用（该时间点的引用，随后丢失）。一旦你接受df.T 返回一个全新的对象这一事实，这将变得很容易理解（我已经说过了，但我想强调这一点）-

id(df.T)
4612098928

id(df.T)
4612098872

id(df.T)
4612098592

总而言之，您正在尝试修改一个您没有参考的新鲜对象，并且您看不到对原始对象的任何更改，因为您没有进行任何更改。