使用 ROC 曲线进行评估

Question

我有一个图像处理算法，它采用三个参数并生成一个二值图像。对于每张图片，我都有ground truth。所以我能够计算真/假阳性/阴性。生成的二值图像取决于 3 个参数。每个参数都可以在一个区间内取值，比如说从 0.0 到 1.0。为了找到最好的结果，我对每个组合（总共 1000 个）运行我的算法。对于每个结果，我都会计算统计数据。

现在我想知道哪些参数会导致最佳结果。我知道算法工程的ROC curve。这是要走的路还是更好地计算F1-score 并采用导致最高分的参数？

roc 曲线将如下所示：

Answer 1

您误解了什么是 ROC 曲线。

通过改变决策阈值，从一个预测变量（具有一组固定参数）构建 ROC 曲线。这与您在此处所做的完全相反，您更改了参数并可能保持阈值固定（可能是 0.5？）。

你可以做的是建立 1000 条 ROC 曲线并选择最好的。它是否适合您的情况是另一个问题。