森林中的特征重要性如何工作？

【问题标题】：How does Feature importances with forests of trees work?森林中的特征重要性如何工作？
【发布时间】：2018-04-01 07:00:44
【问题描述】：

谁能解释如何使用森林来评估特征的重要性（feature_importances_）？

http://scikit-learn.org/stable/auto_examples/ensemble/plot_forest_importances.html

【问题讨论】：

标签： python tree feature-selection

【解决方案1】：

它基本上是一个随机森林实现。随机森林由许多决策树组成。决策树中的每个节点都是单个特征的条件，旨在将数据集分成两个，以便相似的响应值最终出现在同一个集合中。选择（局部）最佳条件所依据的度量称为杂质。对于分类，它通常是基尼杂质或信息增益/熵，对于回归树，它是方差。因此，在训练树时，可以计算出每个特征减少了树中的加权杂质的程度。对于森林，可以对每个特征的杂质减少量进行平均，并根据此度量对特征进行排名。

【讨论】：