如何在 Keras 中实现这个自定义损失函数？

Question

我正在尝试在我的神经网络上实现一个自定义损失函数，如果张量是 numpy 数组，它看起来像这样：

def custom_loss(y_true, y_pred):
    activated = y_pred[y_true > 1]
    return np.abs(activated.mean() - activated.std()) / activated.std()

y's 的形状为(batch_size, 1)；也就是说，它是每个输入行的标量输出。

obs：这篇文章 (Converting Tensor to np.array using K.eval() in Keras returns InvalidArgumentError) 给了我一个初步的前进方向。

编辑：

这是我尝试应用自定义损失函数的可重现设置：

import numpy as np

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers


X = np.random.normal(0, 1, (256, 5))
Y = np.random.normal(0, 1, (256, 1))

model = keras.Sequential([
    layers.Dense(1),
])

model.compile(optimizer='adam', loss=custom_loss)

model.fit(X, Y)

如果我按照上面的问题定义custom_loss，最后一行的.fit() 会引发错误AttributeError: 'Tensor' object has no attribute 'mean'。

Answer 1

这是一个简单的捕获。您可以按如下方式使用自定义损失

def custom_loss(y_true, y_pred):
    activated = y_pred[y_true > 1]
    return tf.math.abs(tf.reduce_mean(activated) - 
                       tf.math.reduce_std(activated)) / tf.math.reduce_std(activated)

或者如果您想使用tf.boolean_mask(tensor, mask, ..)，那么您需要确保mask 条件的形状为(None,) 或1D。如果我们应用 tf.where(y_true>1) ，它将产生一个 2D 张量，需要根据您的情况重新整形。

def custom_loss(y_true, y_pred):
    activated = tf.boolean_mask(y_pred, tf.reshape(tf.where(y_true>1),[-1]) )
    return tf.math.abs(tf.reduce_mean(activated) - 
                       tf.math.reduce_std(activated)) / tf.math.reduce_std(activated)

Answer 2

您是否尝试过在 tensorflow 中编写它，因为有梯度问题？或者这只是在张量流中如何做到这一点？ ——别担心，我不会给你一个经典的有毒SO反应！ 我会尝试这样的事情（未经测试，但似乎在正确的轨道上）：

def custom_loss(y_true, y_pred):
    activated = tf.boolean_mask(y_pred, tf.where(y_true>1))
    return tf.math.abs(tf.reduce_mean(activated) - tf.math.reduce_std(activated)) / tf.math.reduce_std(activated))

您可能需要在其中使用尺寸，因为所有这些功能都允许指定要使用的尺寸。

另外，保存模型时会丢失损失函数，除非您对一般损失函数进行子类化。这可能比您想要的更详细，但如果您在保存和加载模型时遇到问题，请告诉我。