while 循环中累积的内存使用量

Question

我的代码包含这个while 循环：

while A.shape[0] > 0:
    idx = A.score.values.argmax()
    one_center = A.coordinate.iloc[idx]
    # peak_centers and peak_scores are python lists
    peak_centers.append(one_center)
    peak_scores.append(A.score.iloc[idx])
    # exclude the coordinates around the selected peak
    A = A.loc[(A.coordinate <= one_center - exclusion) | (A.coordinate >= one_center + exclusion)]

A 是一个熊猫DataFrame，看起来像这样：

   score  coordinate
0  0.158           1
1  0.167           2
2  0.175           3
3  0.183           4
4  0.190           5

我试图在A 中找到最高分（一个峰值），然后排除先前找到的峰值周围的一些坐标（在这种情况下为几百个），然后找到下一个峰值，依此类推。

A 这是一个非常大的熊猫DataFrame。在运行这个while 循环之前，ipython 会话使用了 20% 的机器内存。我认为运行这个while 循环只会导致内存消耗下降，因为我从DataFrame 中排除了一些数据。但是，我观察到内存使用量不断增加，并且在某些时候机器内存已耗尽。

这里有什么我错过的吗？我需要在某处显式释放内存吗？

这是一个可以使用随机数据复制行为的简短脚本：

import numpy as np
import pandas as pd

A = pd.DataFrame({'score':np.random.random(132346018), 'coordinate':np.arange(1, 132346019)})
peak_centers = []
peak_scores = []
exclusion = 147
while A.shape[0] > 0:
    idx = A.score.values.argmax()
    one_center = A.coordinate.iloc[idx]
    # peak_centers and peak_scores are python lists
    peak_centers.append(one_center)
    peak_scores.append(A.score.iloc[idx])
    # exclude the coordinates around the selected peak
    A = A.loc[(A.coordinate <= one_center - exclusion) | (A.coordinate >= one_center + exclusion)]

# terminated the loop after memory consumption gets to 90% of machine memory
# but peak_centers and peak_scores are still short lists
print len(peak_centers)
# output is 16

Answer 1

您的DataFrame 太大而无法处理。执行此行时，内存负载加倍：

A = A.loc[(A.coordinate <= one_center - exclusion) | (A.coordinate >= one_center + exclusion)]

这是因为您为A 分配了一个新值，因此在过滤旧的DataFrame 的同时为新的DataFrame 分配了内存。新的几乎与旧的大小相同，因为您选择了几乎所有的数据点。这为两个A 副本消耗了足够的内存，而且这还没有考虑到loc 实现所做的记账额外内存。

显然loc 导致 pandas 分配足够的内存用于数据的额外副本。我不确定这是为什么。我认为这是某种性能优化。这意味着您最终在内存使用高峰时消耗了 DataFrame 大小的四倍。一旦loc 完成并释放未分配的内存（您可以通过调用gc.collect() 强制执行此操作），内存负载将下降到DataFrame 的两倍大小。在下一次调用loc 时，一切都翻了一番，你又回到了四倍的负载。再次收集垃圾，你又回到了两倍。只要您愿意，这将持续下去。

要验证发生了什么，请运行修改后的代码版本：

import numpy as np
import pandas as pd
import gc

A = pd.DataFrame({'score':np.random.random(32346018), 'coordinate':np.arange(1, 32346019)})
peak_centers = []
peak_scores = []
exclusion = 147
count = 0
while A.shape[0] > 0:
    gc.collect()  # Force garbage collection.
    count += 1    # Increment the iteration count.
    print('iteration %d, shape %s' % (count, A.shape))
    raw_input()   # Wait for the user to press Enter.
    idx = A.score.values.argmax()
    one_center = A.coordinate.iloc[idx]
    # peak_centers and peak_scores are python lists
    peak_centers.append(one_center)
    peak_scores.append(A.score.iloc[idx])
    print(len(peak_centers), len(peak_scores))
    # exclude the coordinates around the selected peak
    A = A.loc[(A.coordinate <= one_center - exclusion) | (A.coordinate >= one_center + exclusion)]

在迭代之间按 Enter 键，并使用 top 或类似工具密切关注内存使用情况。

在第一次迭代开始时，您会看到x% 的内存使用率。在第二次迭代中，第一次调用 loc 后，内存使用量翻倍至 2x。随后，您会看到它在每次调用 loc 期间上升到 4x，然后在垃圾回收后下降到 2x。

Answer 2

如果您想破坏性地改变A 而不复制A 的大量数据子集，请使用DataFrame.drop 和inplace=True。

places_to_drop = ~(A.coordinate - one_center).between(-exclusion, exclusion)
A.drop(A.index[np.where(places_to_drop)], inplace=True) 

The place where the original usage of loc ultimately bottoms out 在_NDFrameIndexer 方法_getitem_iterable 中。 _LocIndexer 是 _NDFrameIndexer 的子类，_LocIndexer 的实例被创建并填充 DataFrame 的 loc 属性。

特别是，_getitem_iterable 会检查布尔索引，这在您的情况下会发生。然后创建一个新的布尔位置数组（当key 已经是布尔格式时，这会浪费内存）。

inds, = key.nonzero()

然后最终在副本中返回“真实”位置：

return self.obj.take(inds, axis=axis, convert=False)

从代码中：key 将是您的布尔索引（即表达式 (A.coordinate <= one_center - exclusion) | (A.coordinate >= one_center + exclusion) 的结果），self.obj 将是调用 loc 的父 DataFrame 实例，所以 obj这里只是A。

DataFrame.take 文档说明默认行为是制作副本。在索引器的当前实现中，没有机制允许您传递关键字参数，最终将用于执行take 而无需复制。

在任何合理的现代机器上，使用drop 方法对于您描述的数据大小应该是没有问题的，因此A 的大小不是问题。