Groupby，转置每个组并乘以熊猫数据框中的原始组

Question

我正在使用 Python pandas 执行以下操作。我有一个包含 F 列和 r 行的数据框。此数据框中的所有字段都是数字。一列表示每一行所属的组。例如：

df = pd.DataFrame({'group': [1, 2, 1, 0, 0, 0, 1, 2],
            'A': [1.5, 0.5, 2.5, 0.5, 1.5, 0.5, 1.5, 0.5],
            'B': [3.5, 2.5, 3.5, 2.5, 3.5, 2.5, 3.5, 2.5]})

对于每个组我需要：

1. 求该组中每一列的平均值，然后从每个元素中减去平均值

normalised_df = df.groupby(['group'], group_keys=True, axis=0).apply(lambda x: x - np.mean(x))

     group         A         B
0        1 -0.333333  0.000000
1        2  0.000000  0.000000
2        1  0.666667  0.000000
3        0 -0.333333 -0.333333
4        0  0.666667  0.666667
5        0 -0.333333 -0.333333
6        1 -0.333333  0.000000
7        2  0.000000  0.000000

1. 转置每个组并将其与自身相乘（这样我就得到了每个组的维度为 FxF 的矩阵）

例如，第 0 组：

Group 0 transposed:
[-0.333333 0.666667 -0.333333
-0.333333 0.666667 -0.333333]

multiplied by itself:
[-0.333333 -0.333333
 0.666667  0.666667
-0.333333 -0.333333]

to give a 2x2 matrix

[0.666 0.666
 0.666 0.666]

1. 将每组中的所有 FxF 矩阵加在一起。

对于第 2 步，我已经尝试过 transposed_df = df.groupby(['group']).apply(lambda x: np.transpose(x)*x) 哪些错误是因为形状未对齐（如预期的那样）。

预期的结果将是一个大小为 F 乘以 F 的矩阵。它可以是一个 numpy 矩阵（因为这比数据框更合适）。以上面的数字为例，它会是

[1.3333 0.6666
    0.6666 0.6666]

关于如何执行此操作的任何建议？

Answer 1

如果想要矩阵乘法是可能的使用@ 运算符和最后一个sum MultiIndex 每秒级别：

def f(x):
    y = x - np.mean(x)
    return y.T @ y #or y.T.dot(y)

df1 = df.groupby('group')['A','B'].apply(f).sum(level=1)
print (df1)
          A         B
A  1.333333  0.666667
B  0.666667  0.666667

Answer 2

您可以使用 df.T 转置数据帧

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.transpose.html

您可以使用 df.dot 将数据框与另一个数据框进行点积

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dot.html

您可以使用 df.mul 将一个数据帧与另一个数据帧进行矩阵相乘（按元素）

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.mul.html