PCA、LDA 和朴素贝叶斯答案

【问题标题】：PCA, LDA and Naive BaysianPCA、LDA 和朴素贝叶斯
【发布时间】：2012-08-24 22:30:33
【问题描述】：

我正在尝试将线性判别分析应用于二分类问题。据我了解，LDA 假设两个类具有相同的协方差矩阵，然后将似然性建模为具有不同均值的高斯分布。

我尝试过的另一个分类器是朴素贝叶斯。它忽略了预测变量之间的任何相关性。

现在，我不明白将 PCA 应用于数据集时会发生什么。根据其定义，PCA 算法旋转数据，使得协方差矩阵是对角线。旋转中没有任何损失，但是由于协方差矩阵现在是对角的，朴素贝叶斯不应该和 LDA 一样好，甚至更好，因为 LDA 将有更多的参数来估计？然而，根据我的数据，无论有没有 PCA，LDA 的表现都优于朴素贝叶斯。

确实，只要我使用所有的主成分，数据是完全一样的，这告诉我结果确实应该是这样的。然而协方差矩阵是对角的...... 大脑崩溃

谁能给我解释一下？我希望我已经足够清楚地表达了我的问题。谢谢！

【问题讨论】：

尝试在 stats.stackexchange.com 上询问
但是您如何使用 PCA 进行分类？这是降维/缩放的方法
嗯，其实我是在做分类。我在使用 QDA 时遇到了问题，因为协方差矩阵不可逆（不是满秩）。我使用 PCA 来降低维数，使协方差矩阵变为满秩。然后我开始想知道朴素贝叶斯，这导致我发布了这个问题:)

标签： machine-learning

【解决方案1】：

据我所知，PCA 本身并没有消除变量之间的依赖关系，只是找到了数据的重新参数化。如果您随后丢弃了除少数顶部方差维度之外的所有维度（称为降维），这可能会有所帮助。然而，我认为，在只有两个类和许多相互依赖的特征的环境中，使用判别分类器可能比 PCA+bayes 效果更好。

【讨论】：

感谢您的回答！是的，我很确定您对 PCA 没有更改数据本身是正确的，但是我不确定发生了什么。毕竟，如果我计算旋转数据的协方差矩阵，我会得到一个对角矩阵，这似乎是朴素贝叶斯的理想条件。所以我的想法一定是在哪里弄错了，但我看不到在哪里......
@onkel 您是否将代数意义上的线性独立和概率意义上的条件独立混为一谈？我不认为 PCA 在后一种意义上使变量独立。
@onkel，这里有一个关于 PCA 的一般性讨论 stats.stackexchange.com/questions/2691/… 和一些有用的链接
你说得对，我确实忘记了条件独立！我想我解决了。我想发布我自己的解释作为答案，但我似乎无法（对不起，这个网站的新手:)。无论如何，感谢您的帮助。
@Qnan，你能多谈谈条件独立和线性独立之间的区别吗？毕竟，PCA 使用协方差矩阵来衡量条件依赖。那么在这种特殊情况下，消除线性依赖关系不会也消除（线性）条件依赖关系吗？当然，PCA 可能会遗漏非线性依赖关系（如this 文章中的第一张图所示）。但重点仍然存在——在某些情况下，PCA 将消除条件依赖。还是说错了？

【解决方案2】：

PCA 对于降维很有用（例如，如果您的训练集的大小对于数据的维数而言太小）。但是，如果您使用所有主成分，PCA 不会改善线性分类器的结果 - 如果您的类在原始数据空间中不是线性可分的，那么通过 PCA 旋转坐标不会改变这一点。

关于 PCA 的另一点需要注意的是，它是根据整个样本集的统计数据计算坐标旋转，而不考虑类标签。即使您的类可能是完全线性可分的（在 PCA 之前和之后），但这并不意味着它们可以通过每个转换后的坐标独立分离（即，线性决策边界不平行于任何转换后的坐标）坐标轴）。在这种情况下，我预计朴素贝叶斯会产生较低的准确度，因为根据定义，它独立处理每个轴。

【讨论】：

非常好。第二段准确地解释了我做错了什么:)。感谢您的明确解释。

【解决方案3】：

@bogatron 只是指出朴素贝叶斯不需要问题在一个维度上是线性可分的。在 3-d 空间中的二分类问题中，决策边界在

p(x|1)p(y|1)p(z|1) = p(x|2)p(y|2)p(z|2)

如果我们在此之前假设一个统一假设

P(M1)=P(M2)=0.5.

根据p(.|1) and p(.|2)的具体形式，边界可能是复杂和非线性的，并且不平行于任何轴。

【讨论】：

我并不是说朴素贝叶斯要求类在一维上是线性可分的。与该问题相关的问题是，当它们不是时，朴素贝叶斯由于其条件独立性的假设而产生的准确性会显着降低，并且可以轻松构建证明这一点的案例。