特征选择答案

【问题标题】：feature selection特征选择
【发布时间】：2013-02-21 00:01:16
【问题描述】：

我有以术语为维度的文档术语数据。我必须根据条款执行特征选择，并且我打算使用互信息作为执行特征选择的度量。我的疑问是，在计算所有可能对之间的互信息之后要做什么？我应该设置一个阈值并选择落在阈值内的所有对的术语吗？

【问题讨论】：

是的，这就是通常的做法。
谢谢@LarsKotthoff 你能告诉我们我们可以根据什么来决定阈值吗？
取决于您的具体数据以及您想要保留多少功能。理想情况下，您会注意到从几乎没有互信息到大量互信息的突然而显着的变化，这会告诉您将阈值放在哪里。但实际上可能并非如此。

【解决方案1】：

如果你想使用互信息，你可以考虑使用 mRMR 算法。您可以使用此类算法选择功能。我的意思：

You have n features at your data set (it means n dimensions)

如果你想用最有意义的

k of n (k < n)

您可以使用特征选择（即使用互信息背景的 mRMR）

决定 k 取决于某些情况。

您应该在删除某些功能后测试您的算法。您检查准确性是否会上升，并且根据您的目标，即使准确性会下降，是否会避免计算成本（因此您可能也想消除一些功能）

另一方面，我建议您查看特征提取方法，即 PCA 和 LDA（尤其适用于您的情况）。

【讨论】：