梯度下降（一）--机器学习

文章目录

• 1.梯度算法介绍
• 2.特点
• 3.梯度下降的数学原理

我们开始考虑怎样优化$\theta_0,\theta_1$θ0​,θ1​,使得我们获取到最小的$J(\theta_0,\theta_1)$J(θ0​,θ1​)?解决方法时我们要讨论的梯度下降算法。

1.梯度算法介绍

我们先在图上随便选一个点，环顾四周，选择下降最快的那个点，选定步伐，到达下一个点，继续前一步操作，在这个点上再选择下降最快的方向，选定步伐，在到达下一个点。一直到没法再做下去为止。

2.特点

和上图比较，梯度下降可能会有不同的局部最优解。

3.梯度下降的数学原理

解释一下算法式：

• $:=$:=表示赋值运算，相当于编程时候的=。
• $\alpha$α代表学习因子，他代表梯度下降迈的步子的大小。
• 做到同时更新$\theta_0,\theta_1$θ0​,θ1​
• 举例正确的写法和错误的写法