Keras：处理自定义 pearson 相关指标的批量大小维度

Question

我想为 pearson 相关性as defined here 创建一个自定义指标

我不确定如何将其准确应用于 y_pred 和 y_true 的批次

我做了什么：

def pearson_correlation_f(y_true, y_pred):

    y_true,_ = tf.split(y_true[:,1:],2,axis=1)
    y_pred, _ = tf.split(y_pred[:,1:], 2, axis=1)

    fsp = y_pred - K.mean(y_pred,axis=-1,keepdims=True)
    fst = y_true - K.mean(y_true,axis=-1, keepdims=True)

    corr = K.mean((K.sum((fsp)*(fst),axis=-1))) / K.mean((
      K.sqrt(K.sum(K.square(y_pred - 
      K.mean(y_pred,axis=-1,keepdims=True)),axis=-1) * 
      K.sum(K.square(y_true - K.mean(y_true,axis=-1,keepdims=True)),axis=-1))))

return corr

我是否有必要使用keepdims 并手动处理批次维度并取其平均值？还是 Keras 会以某种方式自动执行此操作？

Answer 1

当您使用不带轴的K.mean 时，Keras 会自动计算整个批次的平均值。

而且后端已经有了标准差函数，所以使用它们可能更简洁（也许更快）。

如果你的真实数据的形状像(BatchSize,1)，我会说keep_dims 是不必要的。否则我不确定，测试结果会很好。

（不明白你为什么用split，不过好像也没必要）。

所以，我会尝试这样的事情：

fsp = y_pred - K.mean(y_pred) #being K.mean a scalar here, it will be automatically subtracted from all elements in y_pred
fst = y_true - K.mean(y_true)

devP = K.std(y_pred)
devT = K.std(y_true)

return K.mean(fsp*fst)/(devP*devT)

---

如果对每个特征都有损失而不是将它们都放在同一个组中：

#original shapes: (batch, 10)

fsp = y_pred - K.mean(y_pred,axis=0) #you take the mean over the batch, keeping the features separate.   
fst = y_true - K.mean(y_true,axis=0) 
    #mean shape: (1,10)
    #fst shape keeps (batch,10)

devP = K.std(y_pred,axis=0)  
devt = K.std(y_true,axis=0)
    #dev shape: (1,10)

return K.sum(K.mean(fsp*fst,axis=0)/(devP*devT))
    #mean shape: (1,10), making all tensors in the expression be (1,10). 
    #sum is only necessary because we need a single loss value

对十个特征的结果求和或取平均值是一样的，一个是另一个的 10 倍（这与 keras 模型不太相关，只影响学习率，但许多优化器很快就找到了解决方法这）。