将Ein(w)写成矩阵的形式

机器学习基石-09-2-Linear Regression Algorithm

上面的重要步骤是把连加的平方和写成了向量内积的平方。其中x=(x0,x1,x2,……xd)总共d+1个变量

任务变成了求解上面结果的最小值

机器学习基石-09-2-Linear Regression Algorithm

可以先看一下Ein(w)和w之间的图形:

机器学习基石-09-2-Linear Regression Algorithm

哪里是最低点呢?在最低点上不管往哪个方向移动都不会产生更低的Ein,也就是梯度要是0。

机器学习基石-09-2-Linear Regression Algorithm

梯度:对函数在每个方向上(不同的w,w0,w1…,wd)做偏微分,然后把w带进去满足梯度都是0。

所以新的任务就是:找到使得梯度为0的w。

机器学习基石-09-2-Linear Regression Algorithm


梯度

机器学习基石-09-2-Linear Regression Algorithm

把之前的矩阵形式再改回向量内积平方的形式。其中,向量的平方=向量模的平方。

1.当w是一维时,

机器学习基石-09-2-Linear Regression Algorithm

Ein(w)就变成了一元二次方程,很容易就可以得到w的值

2.当w是向量时,

机器学习基石-09-2-Linear Regression Algorithm

机器学习基石-09-2-Linear Regression Algorithm

任务就变成了下面的:

机器学习基石-09-2-Linear Regression Algorithm

机器学习基石-09-2-Linear Regression Algorithm可逆时,

机器学习基石-09-2-Linear Regression Algorithm

机器学习基石-09-2-Linear Regression Algorithm是(d+1)*(d+1)维,机器学习基石-09-2-Linear Regression Algorithm是N*(d+1)维。一般地,自由度是d,资料量data N远远大于d+1,所以矩阵可逆。

机器学习基石-09-2-Linear Regression Algorithm不可逆时,直接使用现成的pseudo-inverse x来计算w(LIN),这时会有很多组解。

机器学习基石-09-2-Linear Regression Algorithm


linear regression algorithm线性回归算法

机器学习基石-09-2-Linear Regression Algorithm

FUN TIME

机器学习基石-09-2-Linear Regression Algorithm
其中,机器学习基石-09-2-Linear Regression Algorithm直接带进去就可以得到答案。

相关文章: