LDA线性判别的思想很简单,把训练集样本投影到一条直线上,使得同类样本的投影点尽可能近,不同类样本点的距离尽可能远。即类内小,类间大。

线性判别分析【LDA】

下面我们把类内小,类间大这种思想转化为数学表达式:

线性判别分析【LDA】

上面的式子不容易求解,需要对上面的式子做化简。

线性判别分析【LDA】

下面来求解J(W)

线性判别分析【LDA】

上面的方法可能理解起来比较困难,下面是西瓜书和JerryLead笔记中求解J(w)的部分,这个理解起来比较简单。

线性判别分析【LDA】

参考资料:1>机器学习-白板推导系列-线性分类

                    2>周志华-西瓜书

                    3>JerryLeadCS229的笔记中线性判别分析部分

相关文章: