【发布时间】:2021-05-18 00:13:16
【问题描述】:
我正在研究二进制分类数据集并将 xgBoost 模型应用于该问题。模型准备好后,我会绘制特征重要性和底层随机森林产生的一棵树。请在下面找到这些图。
问题
- 如果我采用一个包含 10 个数据点的测试集,在计算该数据点 predict_proba 分数时,特征的重要性是否会因数据点而异?
- 从不同数据点的 CNN 类激活图进行类比,当模型在多个数据点上运行时,每个特征的顺序和相对重要性是保持不变还是会有所不同?
【问题讨论】:
-
xgboost 的重要性是根据训练数据计算的。计算 xgboost 特征重要性的替代方法:mljar.com/blog/feature-importance-xgboost 对于任何
test数据,特征重要性将保持不变。它是训练模型的属性。如果您想获得测试数据的决策图,请查看 SHAP 包或 MLJAR AutoML github.com/mljar/mljar-supervised(它计算基于排列的重要性和 SHAP 决策图以获得最佳/最差预测)。 -
感谢 @pplonski 我使用 xgBoost 包和 shap 库计算了模型的特征重要性。但我正在寻找的是测试数据的决策图,即为什么测试数据点被归类为 0 类或 1 类。将检查 MLJAR AutoML 包...
标签: python machine-learning xgboost feature-selection xgbclassifier