如何在 Keras 模型中使用加权 MSE 作为损失函数？答案

【问题标题】：How can I use a weighted MSE as loss function in a Keras model?如何在 Keras 模型中使用加权 MSE 作为损失函数？
【发布时间】：2020-11-03 17:40:36
【问题描述】：

我正在尝试使用自定义损失函数来计算回归任务中的加权 MSE（任务中的值：-1、-0.5、0、0.5、1、1.5、3 等）。这是我的自定义损失函数的实现：

import tensorflow
import tensorflow.keras.backend as kb

def weighted_mse(y, yhat):
    ind_losses = tensorflow.keras.losses.mean_squared_error(y, yhat)
    weights_ind = kb.map_fn(lambda yi: weight_dict[kb.get_value(yi)], y, dtype='float32')
    # average loss over weighted sum of the batch
    return tensorflow.math.divide(tensorflow.math.reduce_sum(tensorflow.math.multiply(ind_losses, weights_ind)), len(y))

我正在运行一个正在运行的示例：

weight_dict = {-1.0: 70.78125, 0.0: 1.7224334600760458, 0.5: 4.58502024291498, 1.0: 7.524916943521595, 1.5: 32.357142857142854, 2.0: 50.33333333333333, 2.5: 566.25, 3.0: 566.25}
y_true = tensorflow.convert_to_tensor([[0.5],[3]])
y_pred = tensorflow.convert_to_tensor([[0.5],[0]])

weighted_mse(y_true, y_pred)

但是当输入到我的模型中时，它会抛出以下错误：

AttributeError: 'Tensor' object has no attribute '_numpy'

这是我如何使用自定义损失函数：

    model.compile(
    optimizer=opt,
    loss={
        "predicted_class": weighted_mse
    })

编辑：

将weight_dict[kb.get_value(yi)] 更改为weight_dict[float(yi)] 时出现以下错误：

TypeError: float() argument must be a string or a number, not 'builtin_function_or_method'

【问题讨论】：

两个问题：1）是否保证您的模型只输出-1.0、0、0.5、1.0等？（这对于回归模型来说很奇怪！），以及 2）我是否认为您想要实现的是 weight_y_true * mse(y_true, y_pred) 其中 weight_y_true 取决于 y_true 的值？
1) 是的，保证 2) 完全正确

标签： python tensorflow machine-learning keras loss-function

【解决方案1】：

您想要的基本上是样本重量的概念。使用 Keras 的训练 API 时，除了您的数据，您还可以传递另一个数组，其中包含每个样本的权重，用于确定每个样本在损失函数中的贡献。

要使用它，您可以使用fit 方法的sample_weight 参数：

model.fit(X, y, sample_weight=X_weight, ...)

注意X_weight 应该是一个与X 长度相同的数组（即每个训练样本的一个权重值）。此外，如果X 是tf.data.Dataset 实例或生成器，则此参数不起作用，您需要将样本权重作为X 返回的元组的第三个元素传递。

【讨论】：

【解决方案2】：

这通常发生在旧版本的 tensorflow 中。您可以尝试 2 件事：

当您像这样导入 tensorflow 时，将此行添加到 jupyter notebook：

import tensorflow as tf
tf.enable_eager_execution()

在提示符下使用以下命令升级 tensorflow：

pip install tensorflow --upgrade

这很可能是因为急切执行。有关详细信息，请参阅文档 here。

【讨论】：