应用特征选择和缩减答案

【问题标题】：Apply both feature selection and reduction应用特征选择和缩减
【发布时间】：2013-12-07 14:17:54
【问题描述】：

我试图模仿一项包括机器学习在内的研究。因为研究人员在使用分类中的高斯分类器之前同时使用了特征选择和特征缩减。

我的问题如下：假设我有 3 节课。我从总共（比如说）10 个特征中选择（比如说）每个类的前 3 个最佳特征。选择的特征例如如下：

Class 1: F1 F2 F9
Class 2: F3 F4 F9
Class 3: F1 F5 F10

由于主成分分析或线性判别分析都适用于完整的数据集或所有类都具有相同特征的至少数据集，我该如何对这样的数据集执行特征缩减然后进行训练？

这是论文的链接：Speaker Dependent Audio Visual Emotion Recognition

以下是论文的摘录：

使用 Plus l-Take Away 选择了前 40 个视觉特征 r 算法使用 Bhattacharyya 距离作为标准函数。然后将 PCA 和 LDA 应用于选定的特征集最后使用单分量高斯分类器分类。

【问题讨论】：

您似乎误解了特征选择，或者您有一些非标准的多类分类设置。假设您没有进行降维，那么您将如何为每个类使用不同的特征做出决定？
@larsmans 我不明白那部分。但论文指出，“每个”类都提取了前 40 个特征。还是我误会了什么？
@larsmans 例如看看下面的链接见图3：personal.ee.surrey.ac.uk/Personal/P.Jackson/pub/avsp08/…
我在您链接的论文中没有看到任何表明为每个班级独立选择功能的内容。
它说“中性 frame 的前 40 个视觉特征”（我的重点）。我猜“中性框架”是指方向，而不是类值。如果您试图找到产生最大类间距离的特征，则可以使用整个数据集。

标签： machine-learning data-mining feature-selection

【解决方案1】：

在链接的论文中，为所有类开发了一组功能。 Bhattacharyya 距离是衡量两个高斯分布的可分性的有界距离度量。这篇文章似乎没有具体描述如何使用 Bhattacharyya 距离（类间距离矩阵的平均值？）。但是，一旦您有了基于 Bhattacharyya 的指标，您就可以通过几种方法来选择您的功能。您可以从一组空的特性开始，然后逐步向集合中添加特性（基于类与新特性的可分离程度）。或者，您可以从所有特征开始，逐步丢弃可分离性最低的特征。 Plus l-Take Away r 算法结合了这两种方法。

一旦选择了原始特征的子集，特征缩减步骤就会通过对原始特征进行一些变换来降低维度。正如你所引用的，作者同时使用了 PCA 和 LDA。两者之间的重要区别在于 PCA 独立于训练类标签，并且为了降低维度，您必须选择要保留多少方差。而 LDA 试图最大化类的可分离性（通过最大化类间协方差与类内协方差的比率）并提供比类数少一的特征。

但这里重要的一点是，在特征选择和缩减之后，所有类都使用相同的一组特征。

【讨论】：

非常感谢，但我最初的困惑仍然存在。如果你能帮我解决这个问题？你能写一个示例算法来展示如何使用距离测量吗？无需强调 plus l 带走 r 只是一个简单的 SFS wud 我只是想知道如何使用距离。非常感谢。
就我的最后一条评论发表评论也可以。请告诉我这种方法是否正确。
举个简单的例子，你可以计算一个 Bhattacharyya 距离矩阵（A-B, A-C,... A-Z, B-C,..., Y-Z）。它只需要是一个较低的对角矩阵（以避免对称和自距离）。然后取数组的平均值并将其用作 SFS 算法中的距离度量。
非常感谢！数组的平均值意味着整个矩阵的平均值，即添加矩阵的每个元素然后除以矩阵中的元素总数？嗯，我现在明白了这个概念，多亏了一个问题。由于在每种情况下类的数量都是恒定的，使用平均距离或距离总和之间实际上是否存在差异？ Iv 将其标记为正确，但请务必回答：P
正确。由于数字类别是固定的，因此总和或均值对于特征选择都是等效的。