如何优化在 Python 中对大数据帧进行迭代的代码

Question

我有一个大熊猫数据框。它有数千列和超过一百万行。我想逐行计算最大值和最小值之间的差异。请记住，有很多 NaN 值，有些行都是 NaN 值（但我仍然想保留它们！）。

我写了以下代码。它有效，但很耗时：

totTime = []
for index, row in date.iterrows():
    myRow = row.dropna()
    if len(myRow):
        tt = max(myRow) - min(myRow)
    else:
        tt = None
    totTime.append(tt)

有什么办法可以优化吗？我尝试使用以下代码，但遇到所有 NaN 行时出现错误：

tt = lambda x: max(x.dropna()) - min(x.dropna())
totTime = date.apply(tt, axis=1)

任何建议将不胜感激！

Answer 1

使用python for 循环遍历大的pandas.DataFrame 或numpy.ndarray 通常是个坏主意。您应该在它们上使用可用的内置函数，因为它们已经过优化，并且在许多情况下实际上不是用 python 编写的，而是用编译语言编写的。在您的情况下，您应该使用 pandas.DataFrame.max 和 pandas.DataFrame.min 方法，它们都为您提供了一个选项 skipna 以跳过 DataFrame 中的 nan 值，而无需实际手动删除它们。此外，您可以选择axis 来最小化。因此，您可以指定 axis=1 以获得沿列的最小值。

这将加起来类似于 @EdChum 刚刚在 cmets 中提到的内容：

data.max(axis=1, skipna=True) - data.min(axis=1, skipna=True)

Answer 2

我对迭代也有同样的问题。 2分：

1. 为什么不将 NaN 值替换为 0？你可以用这个df.replace(['inf','nan'],[0,0]) 来做。它替换了 inf 和 nan 值。
2. 看看这个This。也许你能理解，我有一个类似的问题，关于如何优化循环来计算实际行与前一行之间的差异。