【机器学习】线性回归相关推导

  在线性回归中，西瓜书 P54 页有如下公式：

∂E(ω,b)∂ω∂E(ω,b)∂b=2(ω∑i=1mx2−∑i=1m(yi−b))=2(mb−∑i=1myi−ωxi)(640)(641)$$\begin{array}{}\text{(640)}& \frac{\mathrm{\partial }{E}_{(\omega ,b)}}{\mathrm{\partial }\omega }& =2\left(\omega \sum _{i=1}^m{x}^2-\sum _{i=1}^m(y_i-b)\right)\text{(641)}& \frac{\mathrm{\partial }{E}_{(\omega ,b)}}{\mathrm{\partial }b}& =2\left(mb-\sum _{i=1}^m{y}_i-\omega x_i\right)\end{array}$$

  然后令上面两个式子分别等于零然后求解，可以得到下面的表达式：

ω=∑mi=1yi(xi−x¯)∑mi=1x2i−1m(∑mi=1xi)2$$\omega =\frac{\sum _{i=1}^m{y}_i(x_i-\overline{x})}{\sum _{i=1}^m{x}_i^2-\frac{1}{m}{\left(\sum _{i=1}^m{x}_i\right)}^2}$$

b=1m∑i=1m(yi−ωxi)               $$b=\frac{1}{m}\sum _{i=1}^m(y_i-\omega x_i)$$

  但是书中并没有给出具体的求解过程，由于公式比较难打上来，这里直接贴上图片：

  后续会继续补充相关的内容。