PySpark 和 MLLib：随机森林特征的重要性

Question

我正在尝试提取我使用 PySpark 训练的随机森林对象的特征重要性。但是，我在文档中的任何地方都没有看到这样做的示例，也不是 RandomForestModel 的方法。

如何从 PySpark 中的 RandomForestModel 回归器或分类器中提取特征重要性？

这是文档中提供的示例代码，可帮助我们入门；但是，其中没有提及特征重要性。

from pyspark.mllib.tree import RandomForest
from pyspark.mllib.util import MLUtils

# Load and parse the data file into an RDD of LabeledPoint.
data = MLUtils.loadLibSVMFile(sc, 'data/mllib/sample_libsvm_data.txt')
# Split the data into training and test sets (30% held out for testing)
(trainingData, testData) = data.randomSplit([0.7, 0.3])

# Train a RandomForest model.
#  Empty categoricalFeaturesInfo indicates all features are continuous.
#  Note: Use larger numTrees in practice.
#  Setting featureSubsetStrategy="auto" lets the algorithm choose.
model = RandomForest.trainClassifier(trainingData, numClasses=2, categoricalFeaturesInfo={},
                                     numTrees=3, featureSubsetStrategy="auto",
                                     impurity='gini', maxDepth=4, maxBins=32)

我没有看到可用的model.__featureImportances_ 属性——我在哪里可以找到这个？

Answer 1

现在 Spark ML 似乎有一种直接的方法可以做到这一点。见https://kb.databricks.com/machine-learning/extract-feature-info.html

这是关键代码：

pipeline = Pipeline(stages=[indexer, assembler, decision_tree)
DTmodel = pipeline.fit(train)
va = dtModel.stages[-2]
tree = DTmodel.stages[-1]

display(tree) #visualize the decision tree model
print(tree.toDebugString) #print the nodes of the decision tree model

list(zip(va.getInputCols(), tree.featureImportances))

Answer 2

更新版本 > 2.0.0

从 2.0.0 版本开始，如您所见 here，FeatureImportances 可用于随机森林。

其实你可以找到here那个：

DataFrame API 支持两种主要的树集成算法：随机森林和梯度提升树 (GBT)。两者都使用 spark.ml 决策树作为基础模型。

用户可以在 MLlib Ensemble 指南中找到有关集成算法的更多信息。 在本节中，我们将演示用于集成的 DataFrame API。

此 API 与原始 MLlib 集成 API 的主要区别在于：

• 支持 DataFrames 和 ML Pipelines
• 分类与回归的分离
• 使用 DataFrame 元数据来区分连续和分类特征
• 随机森林的更多功能：特征重要性估计，以及用于分类的每个类别的预测概率（也称为类别条件概率）。

如果你想拥有特征重要性值，你必须使用 ml 包，而不是 mllib，并使用数据框。

下面有一个例子，你可以找到here：

# IMPORT
>>> import numpy
>>> from numpy import allclose
>>> from pyspark.ml.linalg import Vectors
>>> from pyspark.ml.feature import StringIndexer
>>> from pyspark.ml.classification import RandomForestClassifier

# PREPARE DATA
>>> df = spark.createDataFrame([
...     (1.0, Vectors.dense(1.0)),
...     (0.0, Vectors.sparse(1, [], []))], ["label", "features"])
>>> stringIndexer = StringIndexer(inputCol="label", outputCol="indexed")
>>> si_model = stringIndexer.fit(df)
>>> td = si_model.transform(df)

# BUILD THE MODEL
>>> rf = RandomForestClassifier(numTrees=3, maxDepth=2, labelCol="indexed", seed=42)
>>> model = rf.fit(td)

# FEATURE IMPORTANCES
>>> model.featureImportances
SparseVector(1, {0: 1.0}) 

Answer 3

我相信这现在可行。您可以致电：

from pyspark.ml.classification import RandomForestClassifier
rf = RandomForestClassifier()
model = rf.fit(data)
print model.featureImportances

在 RandomForestClassifier 上运行拟合会返回一个 RandomForestClassificationModel，该模型已计算出所需的 featureImportances。我希望这会有所帮助:)

Answer 4

现在在 Spark 1.5 中实现了特征重要性。 See resolved JIRA issue.你可以得到一个特征重要性向量：

val importances: Vector = model.featureImportances

Answer 5

我不得不让你失望，但是 RandomForest 的 MLlib 实现中的特征重要性只是没有计算出来，所以你不能从任何地方得到它们，除非你自己实现它们的计算。

这里是如何找到它的：

你调用了一个函数 RandomForest.trainClassifier 在这里 deinfed https://github.com/apache/spark/blob/branch-1.3/python/pyspark/mllib/tree.py

它调用 callMLlibFunc("trainRandomForestModel", ...)，这是对 Scala 函数 RandomForest.trainClassifier 或 RandomForest.trainRegressor（取决于算法）的调用，它会返回 RandomForestModel 对象。

此对象在https://github.com/apache/spark/blob/branch-1.3/mllib/src/main/scala/org/apache/spark/mllib/tree/model/treeEnsembleModels.scala 中进行了描述，并扩展了同一源文件中定义的TreeEnsembleModel。不幸的是，这个类只存储算法（回归或分类）、树本身、树的相对权重和组合策略（总和、平均、投票）。不幸的是，它不存储特征重要性，甚至不计算它们（计算算法见https://github.com/apache/spark/blob/branch-1.3/mllib/src/main/scala/org/apache/spark/mllib/tree/RandomForest.scala）