在 python 中对 pandas 数据框中的许多（1e6-1e10）行组合有效地执行廉价计算

Question

我需要对 pandas 数据框的大量行或列组合执行一些简单的计算。我需要弄清楚如何最有效地做到这一点，因为组合的数量可能会超过十亿。

基本方法很简单——只需对数据帧的子选择执行均值、比较运算符和求和。但是我想出的唯一方法是对组合进行循环，这不是很pythonic，也不是超级有效。由于效率会随着样本数量的增加而变得重要，我希望可能有一些更聪明的方法来做到这一点。

现在我正在构建组合列表，然后选择这些行并使用内置的 pandas 工具进行计算（请参阅下面的伪代码）。一种可能性是将其并行化，这应该很容易。但是，我想知道我是否错过了更有效地执行此操作的更深层次的方法。

一些想法，从大到小排列：

1. 是否有一些智能 pandas/python 甚至一些智能线性代数方法来做到这一点？我还没有弄清楚，但想检查一下。
2. 坚持使用 pandas 的最佳方法是什么？或者转换为一个 numpy 数组并在那里使用数字索引执行所有操作，然后再转换回更易于理解的数据帧？
3. 内置 mean() 是最好的方法，还是应该使用某种 apply()？
4. 以任何方式选择行或列是否更快？矩阵是对称的，因此很容易抓取。
5. 我目前实际上选择了 18 行，因为 6 行中的每一行实际上都有三个参数略有不同的条目 - 如果出于某种原因选择 6 行比选择 18 行更快，我可以预先将它们组合成单独的行。李>

这是我正在做的一个粗略的草图：

from itertools import combinations

df = from_excel() #Test case is 30 rows & cols
df = df.set_index('Col1') # Column and row 1 are names, rest are the actual matrix values

allSets = combinations(df.columns, 6)

temp = []
for s in allSets:
    
    avg1 = df.loc[list(s)].mean().mean()
    cnt1 = df.loc[list(s)].gt(0).sum().sum()
    
    temp.append([s,avg1,cnt1])

dfOut = pd.DataFrame(temp,columns=['Set','Average','Count'])

Answer 1

一些应该有所帮助的一般注意事项：

1. 据我所知，最好的提问地点是Mathematics 或Math Professionals。值得一试。如果您正在对结果做一些非常具体的事情 - 寻找最小值/最大值等，那么可能有更好的方法来构建问题。

2. 一般来说，你是对的，pandas 作为NumPy 之上的一层可能不会加快速度。然而，大部分繁重的工作都是在NumPy 的级别上完成的，直到你确定pandas 是罪魁祸首，使用它。

3. mean 优于跨行或跨列应用的您自己的函数，因为它在底层使用 NumPy 中均值的 C 实现，这总是比 Python 快。

4. 鉴于pandas 以列方式组织数据（即每列是一个连续的NumPy 数组），最好按行进行。

5. 很高兴在这里看到一个数据示例。

现在，代码上的一些 cmets：

• 使用iloc 和数字索引而不是loc - 更快
• 这里不需要将元组变成列表：df.loc[list(s)].gt(0).sum().sum() 只需使用：df.loc[s].gt(0).sum().sum()
• 您应该使用生成器而不是 for 循环，在循环中将元素附加到临时列表（这非常缓慢且不必要，因为您正在以任何一种方式创建 pandas 数据帧）。此外，尽可能使用元组而不是列表以获得最大速度：

    def gen_fun():
       allSets = combinations(df.columns, 6)
       for s in allSets:
          avg1 = df.loc[list(s)].mean().mean()
          cnt1 = df.loc[list(s)].gt(0).sum().sum()
    
          yield (s, avg1, cnt1)
    
    dfOut = pd.DataFrame(gen_fun(), columns=['Set', 'Average', 'Count'])

• 另一件事是，您可以预处理数据帧以仅使用正值以避免在每个循环中进行gt(0) 操作。

通过这种方式，您可以节省内存和 CPU 时间。