当某些迭代具有 NaN 值时，在 mlr3 ResampleResult 中聚合性能度量答案

【问题标题】：Aggregating performance measures in mlr3 ResampleResult when some iterations have NaN values当某些迭代具有 NaN 值时，在 mlr3 ResampleResult 中聚合性能度量
【发布时间】：2021-04-14 19:38:12
【问题描述】：

我想为留一法重采样的所有迭代计算聚合性能度量（精度）。

对于单次迭代，该度量的结果只能是 0、1（如果预测为正类）或 NaN（如果预测为负类。

我想对整个重采样的现有值进行聚合，但聚合结果始终为 NaN（自然，多次迭代将是 NaN）。我无法弄清楚（来自 ResampleResult$aggregate() 的帮助页面）如何做到这一点：

gr = po(lrn("classif.kknn", predict_type = "prob"),
        param_vals = list(k = 10, distance=2, kernel='rectangular' )) %>>%
  po("threshold", param_vals = list(thresholds = 0.5))

glrn = GraphLearner$new(gr)

resampling = rsmp("loo")
 
rr = resample(task, glrn, resampling, store_models = TRUE)

rr$aggregate(msr("classif.precision"))

【问题讨论】：

标签： cross-validation resampling mlr3

【解决方案1】：

我怀疑这是否是一种统计上合理的方法，但从技术上讲，您可以通过覆盖aggregator 槽来设置度量的聚合函数：

m = msr("classif.precision")
m$aggregator = function(x) mean(x, na.rm = TRUE)

【讨论】：