Keras 2.3.0 指标准确度、精确度和召回率的值相同答案

【问题标题】：Same value for Keras 2.3.0 metrics accuracy, precision and recallKeras 2.3.0 指标准确度、精确度和召回率的值相同
【发布时间】：2020-09-02 06:04:52
【问题描述】：

我正在尝试获取准确度、精确度和召回率的 keras 指标，但它们三个都显示相同的值，这实际上是准确度。

我正在使用 TensorFlow 文档示例中提供的指标列表：

metrics = [keras.metrics.TruePositives(name='tp'),
           keras.metrics.FalsePositives(name='fp'),
           keras.metrics.TrueNegatives(name='tn'),
           keras.metrics.FalseNegatives(name='fn'),
           keras.metrics.BinaryAccuracy(name='accuracy'),
           keras.metrics.Precision(name='precision'),
           keras.metrics.Recall(name='recall'),
           keras.metrics.AUC(name='auc')]

模型是用于图像分类的非常基本的 CNN：

model = Sequential()

model.add(Convolution2D(32, 
                      (7, 7), 
                      padding ="same", 
                      input_shape=(255, 255, 3), 
                      activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Convolution2D(64, 
                      (3, 3), 
                      padding ="same"))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(256, 
              activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(n_classes, 
              activation='softmax'))

使用上面显示的指标列表进行编译：

model.compile(loss=loss,
            optimizer=optimizer,
            metrics=metrics)

这是我在训练时经常看到的问题的一个例子：

Epoch 1/15
160/160 [==============================] - 6s 37ms/step - loss: 0.6402 - tp: 215.0000 - fp: 105.0000 - tn: 215.0000 - fn: 105.0000 - accuracy: 0.6719 - precision: 0.6719 - recall: 0.6719 - auc: 0.7315 - val_loss: 0.6891 - val_tp: 38.0000 - val_fp: 42.0000 - val_tn: 38.0000 - val_fn: 42.0000 - val_accuracy: 0.4750 - val_precision: 0.4750 - val_recall: 0.4750 - val_auc: 0.7102
Epoch 2/15
160/160 [==============================] - 5s 30ms/step - loss: 0.6929 - tp: 197.0000 - fp: 123.0000 - tn: 197.0000 - fn: 123.0000 - accuracy: 0.6156 - precision: 0.6156 - recall: 0.6156 - auc: 0.6941 - val_loss: 0.6906 - val_tp: 38.0000 - val_fp: 42.0000 - val_tn: 38.0000 - val_fn: 42.0000 - val_accuracy: 0.4750 - val_precision: 0.4750 - val_recall: 0.4750 - val_auc: 0.6759

每次折叠的指标，每次都具有相同的准确度、精确度和召回率值：

['loss', 'tp', 'fp', 'tn', 'fn', 'accuracy', 'precision', 'recall', 'auc']
[[ 0.351 70.    10.    70.    10.     0.875  0.875  0.875  0.945]
 [ 0.091 78.     2.    78.     2.     0.975  0.975  0.975  0.995]
 [ 0.253 72.     8.    72.     8.     0.9    0.9    0.9    0.974]
 [ 0.04  78.     2.    78.     2.     0.975  0.975  0.975  0.999]
 [ 0.021 80.     0.    80.     0.     1.     1.     1.     1.   ]]

sklearn.metrics.classification_report 显示正确的精度和召回率

================ Fold 1 =====================
Accuracy: 0.8875
              precision    recall  f1-score   support

      normal       0.84      0.95      0.89        38
          pm       0.95      0.83      0.89        42

    accuracy                           0.89        80
   macro avg       0.89      0.89      0.89        80
weighted avg       0.89      0.89      0.89        80

================ Fold 2 =====================
Accuracy: 0.9375
              precision    recall  f1-score   support

      normal       1.00      0.87      0.93        38
          pm       0.89      1.00      0.94        42

    accuracy                           0.94        80
   macro avg       0.95      0.93      0.94        80
weighted avg       0.94      0.94      0.94        80

================ Fold 3 =====================
Accuracy: 0.925
              precision    recall  f1-score   support

      normal       0.88      0.97      0.92        37
          pm       0.97      0.88      0.93        43

    accuracy                           0.93        80
   macro avg       0.93      0.93      0.92        80
weighted avg       0.93      0.93      0.93        80

================ Fold 4 =====================
Accuracy: 0.925
              precision    recall  f1-score   support

      normal       0.97      0.86      0.91        37
          pm       0.89      0.98      0.93        43

    accuracy                           0.93        80
   macro avg       0.93      0.92      0.92        80
weighted avg       0.93      0.93      0.92        80

================ Fold 5 =====================
Accuracy: 1.0
              precision    recall  f1-score   support

      normal       1.00      1.00      1.00        37
          pm       1.00      1.00      1.00        43

    accuracy                           1.00        80
   macro avg       1.00      1.00      1.00        80
weighted avg       1.00      1.00      1.00        80

【问题讨论】：

标签： python tensorflow keras metrics precision-recall

【解决方案1】：

精度和召回率已经存在一些问题。

看这个问题：https://github.com/keras-team/keras/issues/5400

您可以改用tensorflow.keras。这个问题应该会消失。

或者，您可以使用自定义实现并将其传递到编译函数中。

from keras import backend as K

def check_units(y_true, y_pred):
    if y_pred.shape[1] != 1:
      y_pred = y_pred[:,1:2]
      y_true = y_true[:,1:2]
    return y_true, y_pred

def precision(y_true, y_pred):
    y_true, y_pred = check_units(y_true, y_pred)
    true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
    predicted_positives = K.sum(K.round(K.clip(y_pred, 0, 1)))
    precision = true_positives / (predicted_positives + K.epsilon())
    return precision

def recall(y_true, y_pred):
    y_true, y_pred = check_units(y_true, y_pred)
    true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
    possible_positives = K.sum(K.round(K.clip(y_true, 0, 1)))
    recall = true_positives / (possible_positives + K.epsilon())
    return recall

metrics = [keras.metrics.TruePositives(name='tp'),
           keras.metrics.FalsePositives(name='fp'),
           keras.metrics.TrueNegatives(name='tn'),
           keras.metrics.FalseNegatives(name='fn'),
           keras.metrics.BinaryAccuracy(name='accuracy'),
           precision,
           recall,
           keras.metrics.AUC(name='auc')]

【讨论】：

【解决方案2】：

当我发布我的问题时，我没有意识到真阳性和假阳性也与真阴性和假阴性具有相同的价值。我的验证集有 80 个观察值，因此 tp、fp、tn 和 fn 的这些指标实际上意味着正确预测了 70 个观察值，而预测了 10 个错误，无论每个观察值的类别如何：

1. 1. 10.

我无法弄清楚为什么所有这些指标都搞砸了，也许这只是Zabir Al Nazi kindly mentioned 的问题。但是，由于一些小的更改，我能够获得正确的指标：

损失函数：binary_crossentropy 而不是 categorical_crossentropy。
顶层：1 个神经元 sigmoid，而不是 n_classes 个神经元 softmax。
标签形状：一维 numpy 数组而不是 one-hot 编码。

我希望这可以帮助其他人。

【讨论】：

这是一个二元分类问题吗？你会为多类分类做什么？我认为我处于多类情况，但我遇到的问题与我的指标输出不起作用的问题相同。我正在使用 sklearn.metrics（准确度、精度、召回率、f1）

【解决方案3】：

TP 和 TN 相等的问题在于使用格式化为 one-hot 编码向量的标签进行二进制分类。 one-hot 编码向量中的标签表示为：[[0,1], [0,1], [1,0],[1,0],[0,1],[1,0],… .,[0,1],[1,0]]，因此，每当算法预测正确时，标签中表示为 [1,0] 的 A 类；度量标准将 A 的 TP 和 B 类的 TN 都视为正确。因此，在 80 个观察的样本中，它最终具有 70 TP 和 70 TN。

更新中描述的解决方案有更多详细信息：

将密集层的输出转换为具有 1 个输出类： model.add(Dense(1, activation='sigmoid'))
将 y 的格式更改为具有 [1,1,0,0,1,0….,1,0] 的一维数组，而不是单热向量 [[0,1], [0,1], [1,0],[1,0],[0,1],[1,0],….,[0,1],[1,0]] 和
将损失函数更改为 BinaryCrossentropy 比如：model.compile(loss="BinaryCrossentropy", optimizer=optimizer, metrics=metrics)

Keras 不提供从多标签分类问题到二元分类问题的“自动转换”。

【讨论】：

你打错了，model.add(Dense(1, activation='softmax'))不正确，应该是sigmoid。
感谢您的评论，出于一致性原因我进行了更新，但是我使用 sigmoid、relu 和 softmax 作为激活函数执行了更新后的代码，没有任何问题。更改后您是否遇到过 softmax 函数的问题？
如果你使用softmax作为激活1个神经元，你最终会得到预测[1]，因为softmax输出的总和等于1。
这是一个二元分类问题吗？你会为多类分类做什么？我认为我处于多类情况，但我遇到的问题与我的指标输出不起作用的问题相同。我正在使用 sklearn.metrics（准确度、精度、召回率、f1）
这是一个二分类问题。在多类分类问题中，您将激活函数更改为使用您拥有的 n 个类的 softmax。这些指标始终有效，您需要检查您的深度学习管道。