使用 PCA 进行特征选择的最佳方法（讨论）

Question

术语：

组件：PC

loading-score[i,j]：j 中的PC[i] 功能

问题：

我知道在 StackOverflow (SO) 和其他技术页面上多次询问有关功能选择的问题，并且它提出了不同的答案/讨论。这就是为什么我想针对不同的解决方案展开讨论，而不是将其作为一般性问题发布，因为已经完成了。

提出了使用 PCA 进行特征选择的不同方法：例如使用原始特征和组件之间的点积 (here) 来获得它们的相关性，SO here 的讨论表明您只能谈论重要特征作为组件中的加载分数（而不是在输入空间中使用该重要性），以及 SO 的另一个讨论（我目前找不到）表明 feature[j] 的重要性将是 abs(sum(loading_score[:,j]) 即总和所有i 组件的loading_score[i,j] 的绝对值。

我个人认为，获得特征重要性的一种方法是绝对总和，其中每个 loading_score[i,j] 由组件 i 的解释方差加权，即

imp_feature[j]=sum_i (abs(loading_score[i,j])*explained_variance[i]。

Answer 1

嗯，没有选择特征的通用方法；它完全取决于数据集和有关数据集的一些可用见解。我将提供一些可能会有所帮助的示例。

由于您询问了 PCA，最初它将整个数据集分成两组，其中方差。另一方面ICA（独立成分分析）能够同时提取多个特征。看this example，

在这个例子中，我们混合了三个独立的信号，并尝试使用 ICA 和 PCA 将它们分离出来。在这种情况下，ICA 比 PCA 做得更好。通常，如果您搜索盲源分离 (BSS)，您可能会找到有关此的更多信息。此外，在这个例子中，我们知道独立的组件，因此分离很容易。一般来说，我们不知道组件的数量。因此，您可能必须根据有关数据集的一些先验信息进行猜测。此外，您可以使用LDA（线性判别分析）来减少特征数量。

一旦您使用任何技术提取 PC 组件，我们可以通过以下方式对其进行可视化。如果我们假设，那些提取的组件作为随机变量，即 x, y, z

关于你的更多信息可以参考这个original source，我在其中获取了大约两个数字。

回到你的提议，

imp_feature[j]=sum_i (abs(loading_score[i,j])*explained_variance[i]

我不推荐这种方式，原因如下： abs(loading_score[i,j]) 当我们获得绝对值时，您可能会失去所考虑特征的正相关或负相关。 explained_variance[i] 可以用来寻找特征之间的相关性，但是相乘没有任何意义。

编辑： 在 PCA 中，每个分量都有其解释的方差。解释方差是单个分量方差与总方差（所有单个分量方差之和）之间的比率。特征显着性可以通过解释方差的大小来衡量。

总而言之，我想说的是，特征选择完全取决于数据集和特征的重要性。 PCA 只是一种技术。首先了解特征和数据集的属性。然后，尝试提取特征。希望这可以帮助。如果您能给我们提供一个确切的例子，我们可能会提供更多的见解。