如何向 keras 添加自定义指标？ （百分比平均绝对误差）

Question

我正在尝试添加 平均绝对误差百分比 (pmae) 作为 keras 中的自定义指标。这被定义为（MAE 除以平均绝对 y 值乘以 100）。我试过了：

def pmae(y_true,y_pred):
    return K.mean(K.abs(y_pred - y_true)) / K.mean(K.abs(y_true)) * 100
...
model.compile(loss='mse', optimizer=Adam(),metrics=[pmae])

运行，但值相差许多数量级（当我查看 model.history.history.pmae 时）

工作的 numpy 版本（在测试样本上）是：

y_pred = model.predict(X_test)
pmae = abs(y_pred - y_test).mean() / abs(y_true).mean() * 100

我还尝试将 , axis=-1 添加到 K.mean() 调用中，但没有任何改进（如其他 stackoverflow 答案中所建议的那样）。有谁知道怎么回事？

资源

1. keras website 以 y 的平均值为例：

import keras.backend as K

def mean_pred(y_true, y_pred):
    return K.mean(y_pred)

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy', mean_pred])

1. 其他人在 stackoverflow 上回答了其他自定义指标（例如 Keras custom RMSLE metric 和 how to implement custom metric in keras?），但那里的回复并没有帮助我计算 pmae。

Answer 1

让我们将您的实现与 Keras 中的 mean_absolute_percentage_error 进行比较：

def mean_absolute_percentage_error(y_true, y_pred):
    if not K.is_tensor(y_pred):
        y_pred = K.constant(y_pred)
    y_true = K.cast(y_true, y_pred.dtype)
    diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true),
                                            K.epsilon(),
                                            None))
    return 100. * K.mean(diff, axis=-1)

基于此，以下内容应该适用于您的情况：

def percent_mean_absolute_error(y_true, y_pred):
    if not K.is_tensor(y_pred):
        y_pred = K.constant(y_pred)
    y_true = K.cast(y_true, y_pred.dtype)
    diff = K.mean(K.abs((y_pred - y_true)) / K.mean(K.clip(K.abs(y_true),
                                                           K.epsilon(),
                                                           None)))
    return 100. * K.mean(diff)

您尝试的主要区别在于，这里y_true 和y_pred 都被强制转换为相同的数据类型，并且分母至少是K.epsilon()（即set to 1e-7 by default），所以错误不会出现如果y_true 接近0，则无穷大。