训练/测试的OOB分数，准确性和f1分数[关闭]

Question

我对此真的很陌生并且相当困惑。我正在使用随机森林（分类）训练我的模型，并试图完全掌握以下概念。

据我了解：您使用训练/测试拆分或交叉验证或 oob（引导方法）拆分模型 . 然后准确度分数或 f1 分数代表您的模型在测试集上的表现（准确度对于平衡类更好，f1 对于不平衡类更好）。

但是，OOB 分数代表了您的验证集有多好，那么模型对您的数据的训练有多好？

我是不是误会了什么？

我对准确率/f1 分数和 OOB 分数之间的差异感到很困惑。

任何意见将不胜感激

Answer 1

这是您正在关注的 2 个不同方面：

1. 指标，这些是您用来评估模型在一组数据上的性能的数学公式，因此您需要为其提供基本事实（真实标签）和预测标签，然后计算指标分数，这些指标包括：

   • 准确度
   • 精度
   • 召回
   • F1
   • MSE
   • 等

2. Variance-reduction，这些是您用来减少模型方差的方法，即：防止模型过度拟合数据，这些方法包括：

   • 使用 2 个不同的集合（即训练/测试拆分）
   • 交叉验证（例如 K 折交叉验证、LOOCV 等）
   • Out of Bag，这个特别适用于随机森林算法，以引导用于集成（森林）中每个学习器的数据。
   • 等

因此，基本上，您使用一种方法来尝试减少模型的方差，从而改进指标。

至于您的具体问题：OOB 分数与准确性分数是多少？ OOB 算法创建用于训练的数据子集，然后根据这些子集的预测标签使用度量来计算分数。