树木森林的特征重要性

Question

我正在尝试找出我的特征的重要性，并想了解森林的运作方式？ 据我了解，它制作了决策树，条形图显示了该特征解释了多少方差，这反过来又显示了该特征的重要性。 我也想不明白图表末尾的线条是什么意思？

方法链接： http://scikit-learn.org/stable/auto_examples/ensemble/plot_forest_importances.html#sphx-glr-auto-examples-ensemble-plot-forest-importances-py

这是正确的理解吗？

谢谢

Answer 1

随机森林由许多决策树组成。决策树中的每个节点都是单个特征的条件，旨在将数据集分成两个，以便相似的响应值最终出现在同一个集合中。选择（局部）最佳条件所基于的度量称为杂质。对于分类，它通常是基尼杂质或信息增益/熵，对于回归树，它是方差。因此，在训练树时，可以计算出每个特征减少了树中的加权杂质的程度。对于森林，可以对每个特征的杂质减少量进行平均，并根据此度量对特征进行排名。

但重要的是要注意，随机森林中的 feature_importances_ 不一定能预测每个特征的正确排名。两个高度相关的特征可能位于排名表的相对两侧。但是，如果您丢弃错误排名的特征，这不会影响模型的性能。但是，了解每个特征的重要性并不是一种可靠的方法。为了解决这个限制，我使用了顺序向后选择。