如何决定模型中哪些特征可以删除（特征选择）？答案

【问题标题】：How to decide which feature in model can be deleted (feature selection)?如何决定模型中哪些特征可以删除（特征选择）？
【发布时间】：2022-11-20 04:56:56
【问题描述】：

我是机器学习的新手，正在处理数据集“Combined Cycle Power Plant over 6 years (2006-2011)”，当时发电厂已设置为满负荷工作。特征包括每小时平均环境变量温度 (AT)、环境压力 (AP)、相对湿度 (RH) 和排气真空 (V)，以预测工厂的每小时净电能输出 (PE)。

这是我的输出：

我如何决定删除 1 个可能不如其他预测重要的特征。（由于数据已经标准化，可以通过查看学习模型中每个特征的权重来完成。）
我用 numpy.linalg.lstsq 计算的列（特征 - 'AT', 'V', 'AP', 'RH', 'PE'）的线性回归系数（权重）是：

[ 4.54458108e+02 -1.44125679e+01 -3.11527582e+00  3.78157228e-01 -2.06364959e+00]

在这种情况下，我想我可以选择第三个“AP”来从功能中删除。那是对的吗？

【问题讨论】：

为什么不是RH？它具有最小的权重。
你能再描述一下吗？我认为“AP”的 -3.11 是最小且不太重要的特征。

标签： python-3.x pandas linear-regression feature-selection

【解决方案1】：

如果您的问题是关于删除功能而不是损失性能，我建议您检查数据点之间的相关性。

您可以使用已经内置的相关熊猫。

corr_matrix = df.corr()
corr_matrix[['AT', 'AP', 'RH', 'V']]

并查看输出。对于任意两个特征 X 和 Y，如果它们紧密相关，那么同时使用它们是不明智的。您可以轻松删除任何一个。或者，您可以组合这两个特征并将它们标记为 Z = XY 并将它们作为一个特征使用。

【讨论】：