使用 sklearn 计算宏 f1 分数

Question

我正在使用sklearn 计算macro f1 分数，我怀疑代码中是否存在任何错误。这是一个示例（标签0 被忽略）：

from sklearn.metrics import f1_score, precision_recall_fscore_support

y_true = [1, 1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 4, 4]
y_pred = [1, 1, 1, 0, 0, 2, 2, 3, 3, 3, 4, 3, 4, 3]



p_macro, r_macro, f_macro, support_macro \
    = precision_recall_fscore_support(y_true=y_true, y_pred=y_pred, labels=[1, 2, 3, 4], average='macro')

p_micro, r_micro, f_micro, support_micro\
    = precision_recall_fscore_support(y_true=y_true, y_pred=y_pred, labels=[1, 2, 3, 4], average='micro')

def f(p, r):
    return 2*p*r/(p+r)

my_f_macro = f(p_macro, r_macro)

my_f_micro = f(p_micro, r_micro)

print('my f macro {}'.format(my_f_macro))

print('my f micro {}'.format(my_f_micro))

print('macro: p {}, r {}, f1 {}'.format(p_macro, r_macro, f_macro))

print('micro: p {}, r {}, f1 {}'.format(p_micro, r_micro, f_micro))

输出：

my f macro 0.6361290322580646
my f micro 0.6153846153846153
macro: p 0.725, r 0.5666666666666667, f1 0.6041666666666666
micro: p 0.6666666666666666, r 0.5714285714285714, f1 0.6153846153846153

如您所见，sklearn 为macro f1 提供0.6041666666666666。但是，它不等于2*0.725*0.566666666/(0.725+0.566666666)，其中0.725 和0.566666666 是macro precision 和macro recall，由sklearn 计算得出。

Answer 1

计算“宏观”和“微观”平均值的过程有所不同。

如documentation of f_score：

'micro'：通过计算真阳性、假阴性和假阳性的总数来全局计算指标。

'ma​​cro'：计算每个标签的指标，并找到它们的未加权平均值。这没有考虑标签不平衡。

在宏中，所有类的召回率、精度和 f1 都是单独计算的，然后返回它们的平均值。所以你不能指望在他们身上应用你的公式def f(p, r)。因为它们和你想的不一样。

在 micro 中，f1 是根据最终精度和召回率计算的（所有类的全局组合）。所以这与您在my_f_micro 中计算的分数相匹配。

希望它有意义。

更多解释，你可以在这里阅读答案：-

• How to compute precision, recall, accuracy and f1-score for the multiclass case with scikit learn?