【发布时间】：2022-11-04 00:34:50
【问题描述】：
为什么在某些情况下，n_estimators 等于 1 的随机森林的性能比决策树差，即使在将引导程序设置为 false 之后也是如此？
尝试使用不同的机器学习模型来预测信用卡违约率，我尝试了随机森林和决策树，但随机森林似乎表现更差，然后我尝试了只有一棵树的随机森林，所以它应该与决策相同树，但它仍然表现更差。
【问题讨论】：
标签： machine-learning random-forest decision-tree
【发布时间】：2022-11-04 00:34:50
【问题描述】：
您的观察结果的具体答案取决于您使用的决策树 (DT) 和随机森林 (RF) 方法的实施。也就是说，最可能的原因有以下三个：
-
自举：虽然您提到您将其设置为 False，但在最一般的形式中，RF 使用二自举形式：数据集和特征。也许该设置仅控制其中之一。即使这两个都关闭，一些 RF 实现还有其他参数来控制树的每个拆分考虑的属性数量以及如何选择它们。
-
树超参数：与我对上一点的评论相关，要检查的另一个方面是是否所有其他树超参数都相同。树的深度、每个叶节点的点数等，这些都必须匹配才能使方法直接可比较。
-
生长法：最后，重要的是要记住，树是通过通常被贪婪优化的间接/启发式损失来学习的。因此，有不同的算法来生长树（例如，C4.5），并且 DT 和 RF 实现可能使用不同的方法。
如果所有这些都匹配，那么差异应该很小。如果仍然存在差异（即“在某些情况下”），这可能是因为初始化的随机性和导致次优树的贪婪学习方案。这是 RF 的主要原因，其中使用集合多样性来缓解这些问题。
【讨论】：