【问题标题】:Does xgBoost's relative feature importance vary with datapoints in test set?xgBoost 相对特征重要性是否随测试集中的数据点而变化?
【发布时间】:2021-05-18 00:13:16
【问题描述】:

我正在研究二进制分类数据集并将 xgBoost 模型应用于该问题。模型准备好后,我会绘制特征重要性和底层随机森林产生的一棵树。请在下面找到这些图。

问题

  • 如果我采用一个包含 10 个数据点的测试集,在计算该数据点 predict_proba 分数时,特征的重要性是否会因数据点而异?
  • 从不同数据点的 CNN 类激活图进行类比,当模型在多个数据点上运行时,每个特征的顺序和相对重要性是保持不变还是会有所不同?

【问题讨论】:

  • xgboost 的重要性是根据训练数据计算的。计算 xgboost 特征重要性的替代方法:mljar.com/blog/feature-importance-xgboost 对于任何 test 数据,特征重要性将保持不变。它是训练模型的属性。如果您想获得测试数据的决策图,请查看 SHAP 包或 MLJAR AutoML github.com/mljar/mljar-supervised(它计算基于排列的重要性和 SHAP 决策图以获得最佳/最差预测)。
  • 感谢 @pplonski 我使用 xgBoost 包和 shap 库计算了模型的特征重要性。但我正在寻找的是测试数据的决策图,即为什么测试数据点被归类为 0 类或 1 类。将检查 MLJAR AutoML 包...

标签: python machine-learning xgboost feature-selection xgbclassifier


【解决方案1】:

“数据点”是什么意思?数据点是单个病例/受试者/患者/等吗?如果是这样;

  1. 您绘制的特征重要性图和树都只与模型相关,它们独立于测试集。找出哪些特征在对测试集中的特定主题/案例/数据点进行分类时很重要是一项更具挑战性的任务(参见例如XGBoostExplainer / https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211)。

  2. 每个主题/案例/数据点的每个特征的顺序和相对重要性都不同(见上文),xgboost 中没有“类激活图”——所有数据都经过分析,数据被认为“不重要”不提供最终决定。

编辑

XGBoostExplainer 的更多示例:

【讨论】:

  • 是的,我所说的数据点是指测试集中的单个实例。将试用 xgBoostExplainer 以查看它是否能够帮助我理解 mdoel 如何以及为什么将单个数据点评分为正标签或负标签。目的是确定哪个特征贡献最大或是最终分类输出的最大决定因素。
  • 是的,在这种情况下,听起来 xgboostexplainer 将帮助您实现这一目标 - 我已经更新了我的答案以包含一个示例,该示例显示如何为测试集中的两个主题计算模型预测以及所有特征最终结合起来得到最终的预测,尽管不同特征的重要性因不同的主题而变化
猜你喜欢
  • 2018-10-08
  • 2019-12-19
  • 2019-12-13
  • 2019-04-15
  • 2020-11-13
  • 2016-03-17
  • 1970-01-01
  • 2022-01-19
  • 1970-01-01
相关资源
最近更新 更多