逻辑回归中的排名特征答案

【问题标题】：Ranking features in logistic regression逻辑回归中的排名特征
【发布时间】：2016-05-17 07:19:09
【问题描述】：

我使用逻辑回归作为分类器。我有六个特征，我想知道这个分类器中比其他特征更能影响结果的重要特征。我使用了信息增益，但似乎它不依赖于使用的分类器。是否有任何方法可以根据特定分类器（如逻辑回归）的重要性对特征进行排名？任何帮助将不胜感激。

【问题讨论】：

您可以查看特定类别的特征选择方法，即“Wrapper”和“Embedded”方法，它们考虑了模型和数据的影响。一个例子是“特征显着性”sciencedirect.com/science/article/pii/S089812219700059X
也许this question 能帮上忙？尽管仅当所有特征都归一化（零均值，所有特征具有相同的标准差）时，系数才真正有用。如果您想知道特定样本/预测的特征重要性，我还会指出 this question。
投票迁移到 stats.stackexchange.com - 我想你会在那里得到更多答案。
希望这对仍在寻找答案的人有所帮助。 scikit-learn.org/stable/modules/feature_selection.html

标签： machine-learning classification ranking logistic-regression feature-selection

【解决方案1】：

您可以使用随机森林分类器对您的特征进行排名。然后，您可以从中选择前 x 个特征并将其用于逻辑回归，尽管随机森林也可以正常工作。

在https://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm查看变量重要性

【讨论】：

【解决方案2】：

一种方法是通过零假设显着性检验。基本上，对于每个特征，您都要测试该特征的系数不为零的证据。大多数统计软件默认在模型摘要中报告这些测试的结果（Scikit-learn 和其他面向机器学习的工具往往不这样做）。对于少量特征，您可以使用此信息和stepwise regression 对特征的重要性进行排名。

【讨论】：