【学习任务】
- 线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
- 一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
- 多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
- 线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？
【推导】
1.线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
2 一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
3 多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
4 线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？
- 批量梯度下降：是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新
- 随机梯度下降：在更新每一参数时都使用一个样本来进行更新，每一次跟新参数都用一个样本，更新很多次
- 小批量梯度下降：对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 ** batch_size** 个样本来对参数进行更新。