h20 在测试数据上预测函数概率评分

Question

我已经为欺诈预测创建了 h20 随机森林模型。现在使用预测函数对测试数据进行评分。我从预测函数输出得到以下数据帧。

现在对于第二条记录，它预测为 1，但 p1 的概率远小于 p0。我们可以为我的欺诈预测模型使用的正确概率分数 (p0/1) 和分类是多少？

如果这些不是正确的概率，那么使用下面提到的参数（calibrate_model = True）计算的校准概率将给出正确的概率？

    nfolds=5
    rf1 = h2o.estimators.H2ORandomForestEstimator(
        model_id = "rf_df1", 
        ntrees = 200,
        max_depth = 4,
        sample_rate = .30,
       # stopping_metric="misclassification",
       # stopping_rounds = 2, 
        mtries = 6,
        min_rows = 12,
        nfolds=3,
        distribution = "multinomial",
        fold_assignment="Modulo",
        keep_cross_validation_predictions=True,
        calibrate_model = True,
        calibration_frame = calib,
        weights_column = "weight",
        balance_classes = True
      #  stopping_tolerance = .005)
       )

        predict p0          p1
    1   0   0.9986012   0.000896514
    2   1   0.9985695   0.000448676
    3   0   0.9981387   0.000477767

Answer 1

预测标签基于阈值，使用的阈值通常基于最大化 F1 分数的阈值。请参阅以下post 以了解有关如何解释概率结果的更多信息。

可以在here 和here 找到有关校准框架和模型工作原理的详细信息。