执行随机森林时的最小观察次数答案

【问题标题】：Minimum number of observation when performing Random Forest执行随机森林时的最小观察次数
【发布时间】：2013-07-06 20:09:08
【问题描述】：

是否可以将 RandomForests 应用于非常小的数据集？我有一个包含许多变量的数据集，但每个变量只有 25 个观察值。随机森林产生合理的结果，OOB 错误低 (10-25%)。关于使用的最少观察次数是否有任何经验法则？事实上，其中一个响应变量是不平衡的，如果我要对它进行二次抽样，我最终会得到更少的观察结果。提前致谢

【问题讨论】：

训练集包含多少特征？
它包含 33 个预测变量和 4 个响应变量（我应该执行 4 个 RF）
检查 this 以了解启发式方法。
我还应该补充一点，就我而言，25 次观察覆盖了 83% 的人口。事实上，我正在对一个小型分类科（30 sp）进行分析，其中每个物种都是一个观察值。如果我只是减少预测变量的数量会更好吗？我可以避免使用其中的一些。
83% 的覆盖率应该会给您信心。此外，您的 OOB 错误很低，因此您有一些证据表明一切正常。

标签： machine-learning random-forest sample-size

【解决方案1】：

Absolutely RF 可用于这些类型的数据集（即 p>n）。事实上，他们在基因组学等领域使用 RF，其中字段数 >= 20000 并且只有很少的行数 - 例如 10-12。整个问题是找出 20k 变量中的哪些变量会构成一个简约标记（即特征选择是整个问题）。

我没有任何关于最小尺寸的 ROT，除非您的模型在保留的样本上不能很好地工作（或者 Hold-One-Back 交叉验证在您的情况下可能很好用），那么您应该尝试一些方法否则。

希望对你有帮助

【讨论】：