一。问题：
1.线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
2.一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
3.多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
4.线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？
二。笔记
4.
批量梯度下降（Batch Gradient Descent）
在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新。
随机梯度下降（Stochastic Gradient Descent）
和批梯度下降算法相反，Stochastic gradient descent 算法每读入一个数据，便立刻计算cost fuction的梯度来更新参数。
小批量梯度下降（Mini-batch Gradient Descent）
mini-batch Gradient Descent的方法是在上述两个方法中取折衷, 每次从所有训练数据中取一个子集（mini-batch） 用于计算梯度。
三。参考资料
2.优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam