标准化已用 np.nan 填充的 3D NumPy 数组

Question

我有一个形状类似于 (100, 40, 170) 的 3D 矩阵。

该矩阵已通过填充 np.nan (NaN) 进行填充以达到 170 的最大长度。

矩阵中的值表示使用 LibRosa (Python) 从UrbanSound8K dataset 提取的音频数据中的 MFCC 系数。

（源笔记本和数据共享，查看帖子末尾）

我需要通过axis=2对这个矩阵进行归一化，方法是：

1. 计算第 3 轴上的平均值，忽略等于 np.nan 的元素
2. 在第 3 轴上计算 std dev，忽略等于 np.nan 的元素
3. 对每个不等于 np.nan 的元素减去均值
4. 每个不等于 np.nan 的元素除以 std dev

我尝试了许多不同的方法，但都没有奏效。其他帖子指向使用 sklearn，但该库中的规范化工具对 3D 矩阵不友好......所以，到目前为止，这是我最好的方法：

# Compute mean and std dev matrices (omitting NaN and keeping shapes)
mean = np.nanmean(X_nan, axis=2, keepdims=True)
std = np.nanstd(X_nan, axis=2, keepdims=True)

但是当我做减法和除法时，我得到了错误：

X_norm -= mean
X_norm /= std

警告消息说：

RuntimeWarning: divide by zero encountered in true_divide

当我只检查归一化矩阵和原始矩阵的第一个元素时，我看到：

# Original
array([[[-58.95327, -58.95327,        -58.95327,       ...,          
                     nan,             nan,            nan],

# Normalized
array([[[-inf,       -inf,            -inf,            ...,
                     inf,             inf,             inf],

请注意，-inf 值是在减去平均值时引入的，而不是用于除法。

您能否推荐我一种方法来计算两个指标并使用 NumPy 进行减法和除法运算，省略填充值？

非常感谢！

数据是用这个 notebook 生成的（注意 repo 正在开发中！）：Urban sound classification with CNN

我已经上传了数据（腌制的 X 和 y）：MFCC Coeffs X and Y

Answer 1

请试试这个解决方案：

X_norm = np.where(np.isnan(X_nan), np.nan, X_nan - mean)
X_norm = np.where(X_norm == 0, 0, X_norm/std)

也给出警告，但看起来工作正常。

只有当所有元素都相同时，std 才能为 0，但在这种情况下，平均值等于元素，并且在减法后得到全零。所以第二个 np.where 修复这种情况。