我有一个大的scipy.sparse.csc_matrix 并希望对其进行规范化。即从每个元素中减去列均值，然后除以列标准差 (std)i。
scipy.sparse.csc_matrix 有一个.mean()，但有没有一种有效的方法来计算方差或标准差？
【问题讨论】：
您可以使用平均值自己计算方差，使用以下formula：
E[X^2] - (E[X])^2
E[X] 代表平均值。所以要计算E[X^2]，你必须对csc_matrix求平方，然后使用mean函数。要获得(E[X])^2，您只需对使用普通输入获得的mean 函数的结果求平方即可。
【讨论】：
c = matrix.copy(); c.data **= 2 然后c.mean(0); del c（只能替换.data）。但我坚持认为 OP 从所有元素中减去听起来是错误的。
Sicco 有更好的答案。
但是，另一种方法是将稀疏矩阵转换为密集的 numpy 数组，一次一列（与一次转换整个矩阵相比，内存要求更低）：
# mat is the sparse matrix
# Get the number of columns
cols = mat.shape[1]
arr = np.empty(shape=cols)
for i in range(cols):
arr[i] = np.var(mat[:, i].toarray())
【讨论】：
我所知道的最有效的方法是使用StandardScalar from scikit:
from sklearn.preprocessing import StandardScaler
scalar = StandardScaler(with_mean=False)
scalar.fit(X)
那么方差在属性var_中：
X_var = scalar.var_
不过，奇怪的是，当我第一次使用pandas（非常慢）进行致密化时，我的答案偏离了几个百分点。不知道哪个更准确。
【讨论】：
StandardScaler的稀疏实现中存在数值稳定性问题：github.com/scikit-learn/scikit-learn/issues/19546
有效的方法实际上是对整个矩阵进行致密化，然后用通常的方式对其进行标准化
X = X.toarray()
X -= X.mean()
X /= X.std()
正如@Sebastian 在他的 cmets 中指出的那样，标准化会在减法步骤中破坏稀疏结构（引入大量非零元素），因此将矩阵保持为稀疏格式是没有用的。
【讨论】：