西瓜书学习——第三章 线性模型

基本形式

给定由 d 个属性描述的示例 x = (X1; X2; … ; Xd) ， 其中 Xi 是 X 在 第 i 个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数：

向量形式：

线性回归

“线性回归” (linear regression)试图学得一个线性模型以尽可能准确地预测实值输出标记.

即找到一条直线来区分样本，找到ω 和 b 来衡量 f(x) 与 u 之间的差别，因此我们可试图让均方误差最小化：

ω 和 b 值的确定推导过程如下：

我们也可将输出标记的对数作为线性模型逼近的目标， 即$lny=w^Tx+b$lny=wTx+b，即对数线性回归，我们试图让
$e^ (w^T+b)$e(wT+b)逼近y，示意图如下：

更一般地，我们讲对数函数考虑成一般函数$g(.)$g(.),令

这样得到的模型称为广义线性模型.

对数几率回归

我们用到一种$sigmoid$sigmoid函数对数几率函数$y=\frac{1}{1+e^{-z}}$y=1+e−z1​将 z 值转化为一个 0 或 1 的 $y$y 值，将
$y=\frac{1}{1+e^{-{w^T+b}}}$y=1+e−wT+b1​代入得：

这时我们将 $y$y 视为类后验概率估计 $p(y=1|x)$p(y=1∣x) 则上式可变成

利用条件概率公式$p(A|B)=\frac{p(AB)}{p(B)}$p(A∣B)=p(B)p(AB)​可得：

我们利用最大似然估计来估计ω 和 b：我们令 $\beta=(w;b)$β=(w;b)

最后我们得到 $\beta$β 第 $t+1$t+1 轮迭代的更新公式为：

线性判别分析

线性判别分析(简称LDA)是一种经典的线性学习方法，思想如下：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别.