scikit-learn RandomForestClassifier - 如何解释树输出？

Question

我有以下代码，但我只是不明白如何解释来自 RandomForestClassifier 的树输出数据，例如如何计算 gini、给定样本以及“值”列表中的总数如何更高比初始样本 3.

我将此输出与我可以理解和解释的 DecisionTreeClassifier 进行比较。

感谢任何帮助，谢谢！

from sklearn.ensemble import RandomForestClassifier
from sklearn import tree
import numpy as np
from sklearn.externals.six import StringIO  
import pydot 

# Data
X = np.array([[0, 0],
              [0, 1],
              [1, 0],
              [1, 1]])
Y = np.array([0, 1, 1, 0])

# Create object classifiers
clf = RandomForestClassifier()
clf_tree = tree.DecisionTreeClassifier()

# Fit data
clf_tree.fit(X,Y)
clf.fit(X, Y)

# Save data
dot_data = StringIO()
tree.export_graphviz(clf_tree, out_file = dot_data)
graph = pydot.graph_from_dot_data(dot_data.getvalue())
graph.write_pdf("orig_tree.pdf")

i_tree = 0
for tree_in_forest in clf.estimators_:    
    dot_data = StringIO()
    tree.export_graphviz(tree_in_forest, out_file = dot_data)
    graph = pydot.graph_from_dot_data(dot_data.getvalue())
    f_name = 'tree_' + str(i_tree) + '.pdf'
    graph.write_pdf(f_name) 
    i_tree += 1

决策树： http://i.stack.imgur.com/XZ7vU.png

来自 RandomForestClassifier 的树： http://i.stack.imgur.com/Bb5t9.png

Answer 1

在给定样本的情况下如何计算基尼系数？

gini 的计算方式与随机森林和决策树完全相同。 Gini 值或方差对应于节点的杂质。

“值”列表中的总数如何高于初始样本 3？

在分类的情况下，value属性对应到达叶子的样本数。

在随机森林的情况下，样本是自举的，因此总共平均有原始样本的 2 / 3，但样本总数没有变化。