使用大量特征执行逻辑回归？答案

【问题标题】：Performing Logistic Regression with a large number of features?使用大量特征执行逻辑回归？
【发布时间】：2018-01-04 06:20:48
【问题描述】：

我有一个包含 330 个样本和每个样本 27 个特征的数据集，逻辑回归有一个二元类问题。

根据“如果十个规则”，我需要至少 10 个事件才能包含每个功能。不过，我有一个不平衡的数据集，有 20% 的正类和 80% 的负类。

这只给了我 70 个事件，使 Logistic 模型中只包含大约 7/8 个特征。

我想评估所有特征作为预测变量，我不想手动选择任何特征。

那你有什么建议？我应该做出所有可能的 7 种功能组合吗？我是否应该使用关联模型单独评估每个特征，然后只选择最好的作为最终模型？

我也对分类和连续特征的处理感到好奇，我可以将它们混合使用吗？如果我有一个分类的 [0-1] 和一个连续的 [0-100]，我应该标准化吗？

【问题讨论】：

【解决方案1】：

您最好的选择是使用 L1 正则化逻辑回归（又名 Lasso 回归）。如果你不熟悉它，算法会自动选择一些特征，惩罚那些不会提高准确性的特征（用外行的话来说）。

您可以增加/减少此正则化强度（它只是一个参数），直到您的模型在测试集或交叉验证过程中达到最高准确度（或其他一些指标）。

【讨论】：

嗨 Stergios，在这种情况下，出于研究原因，我想坚持使用标准逻辑回归，但我将在未来的实验中包括 LASSO。感谢您的反馈。
你想做什么？找出准确率最高的 7/8 特征？如果是这样，您可能会查看所有可能的组合（尽管这可能在资源和时间上过于昂贵）。或者您可以运行 LASSO 并让它选择最佳功能。然后运行标准日志。注册。仅使用这些功能。但是，这就像使用任何特征选择方法一样。
我想看看所有功能与结果的关系，但我不想使用逻辑回归以外的任何东西。如果我有足够的事件，我只会将所有功能提供给模型，但不幸的是我没有。我想使用逻辑回归，因为这是使用的标准方法，我需要它作为比较度量。