3种不同形式的梯度下降算法（SGD、MBGD、BGD）

梯度下降

• pre
• 批梯度下降
• 公式
• 代码demo
• 随机梯度下降
• 公式
• 代码demo
• 小批量梯度下降
• 公式
• 代码demo
• 参考文献

pre

为了便于理解使用只含有一个特征的线性回归进行陈述：
假设函数：
$h_{\theta}(x^{(i)})=\theta_{1}x^{(i)}+\theta_{0}$hθ​(x(i))=θ1​x(i)+θ0​
使用MSE损失函数
$J_{(\theta_{0},\theta_{1})} =\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2$J(θ0​,θ1​)​=2m1​∑i=1m​(hθ​(x(i))−y(i))2
使用MSE + $L_2$L2​ 正则化
$J_{(\theta_{0},\theta_{1})} =\frac{1}{2m}\sum_{i=1}^m(h_{\theta}(x^{(i)})-y^{(i)})^2 + \frac{1}{2m}||\theta_1||^2$J(θ0​,θ1​)​=2m1​∑i=1m​(hθ​(x(i))−y(i))2+2m1​∣∣θ1​∣∣2

批梯度下降

公式

代码demo

随机梯度下降

公式

代码demo

小批量梯度下降

公式

代码demo

参考文献

REF1
REF2
REF3
REF4
其中REF3在BGD上的公式有误，参考REF1