Machine Learning Course-CS 156 笔记 3

Lecture 3 : The Linear Model I

视频地址：https://www.youtube.com/watch?v=FIbVs5GbBlQ

• Lecture 3 The Linear Model I
  • 输入形式
  • 线性分类
  • 线性回归
  • 非线性变换

---

输入形式

一个数据集：

每个数字尺寸是 16×16$16\times 16$，也就是 256$256$个值。

‘raw’ input X=(x0,x1,x2,...,x256)(x0=1)$X=(x_0,x_1,x_2,...,x_{256})(x_0=1)$
linear model : (w0,w1,w2,...,w256)$(w_0,w_1,w_2,...,w_{256})$

特征 ： 提取有用的信息。
例如强度和对称性：X=(x0,x1,x2)$X=(x_0,x_1,x_2)$
此时 W=(w0,w1,w2)$W=(w_0,w_1,w_2)$
x1$x_1$是强度 ， x2$x_2$是对称性。下图是1和5的区别。

---

线性分类

PLA的应用：
- Ein$E_{in}$ 和 Eout$E_{out}$ 的演化

- 最终的边界

- Pocket 算法
保存迭代过程中的最优解

---

线性回归

regression ≡$\equiv$ real-valued output

继续用银行信用举例
- 分类：是否有信用
- 回归：信用额度

Input： x$x$

年龄	性别	年薪	定居时间	债务	…
23岁	男	$30000	1年	$15000	…

Output:

h(x)=∑i=0dwixi=WTX(26)$$\begin{array}{}\text{(26)}& h(x)=\sum _{i=0}^d{w}_i{x}_i=W^{T}X\end{array}$$

数据集： (x1,y1),(x2,y2),...,(xN,yN)$(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$

误差函数： 利用 (h(x)−f(x))2$(h(x)-f(x){)}^2$

Ein(h)=1N∑n=1N(h(x)−f(x))2(27)$$\begin{array}{}\text{(27)}& E_{in}(h)=\frac{1}{N}\sum _{n=1}^N(h(x)-f(x){)}^2\end{array}$$

Ein$E_{in}$ 的表示：

Ein(W)=1N∑n=1N(WTxn−yn)2=1N||XW−Y||2(28)$$\begin{gathered} \begin{array}{}\text{(28)}& E_{in}(W)=\frac{1}{N}\sum _{n=1}^N(W^T{x}_n-y_n{)}^2 \\ =\frac{1}{N}||XW-Y|{|}^2\end{array} \end{gathered}$$

其中

X=⎡⎣⎢⎢⎢⎢⎢⋯⋯⋯xT1xT2⋮xTN⋯⋯⋯⎤⎦⎥⎥⎥⎥⎥,Y=⎡⎣⎢⎢⎢⎢y1y2⋮yN⎤⎦⎥⎥⎥⎥(29)$$\begin{array}{}\text{(29)}& X=\left[\begin{array}{ccc}\cdots & x_1^T& \cdots \\ \cdots & x_2^T& \cdots \\ & ⋮\\ \cdots & x_N^T& \cdots \end{array}\right],Y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right]\end{array}$$

最小化 Ein$E_{in}$

令∇Ein(W)=2NXT(XW−Y)=0XTXW=XTY即W=X†Y,其中X†=(XTX)−1XT(30)$$\begin{gathered} \begin{array}{}\text{(30)}& 令\mathrm{\nabla }{E}_{in}(W)=\frac{2}{N}{X}^T(XW-Y)=0 \\ {X}^{T}XW=X^{T}Y \\ 即W=X^{†}Y,其中X^{†}=(X^{T}X{)}^{-1}{X}^T\end{array} \end{gathered}$$

X†是X的伪逆矩阵(以防X是非可逆矩阵)$X^{†}是X的伪逆矩阵(以防X是非可逆矩阵)$

关于伪逆矩阵
https://en.wikipedia.org/wiki/Generalized_inverse
https://en.wikipedia.org/wiki/Moore%E2%80%93Penrose_inverse

线性回归算法：
1.构建 X$X$ 矩阵和 Y$Y$ 矩阵
2.计算伪逆矩阵 X†=(XTX)−1XT$X^{†}=(X^{T}X{)}^{-1}{X}^T$
3.返回 W=X†Y$W=X^{†}Y$

线性回归也可以用于分类

---

非线性变换

线性是受限的，比如：

在银行信用额度示例里，居住年限是非线性影响额度的

将 (x1,x2)⟶Φ(x21,x22)$(x_1,x_2)\stackrel{\mathrm{\Phi }}{⟶}(x_1^2,x_2^2)$ 上图变为：