线性回归——推导及实践

使用极大似然估计解释最小二乘

似然函数推导过程：

高斯的对数似然与最小二乘：

θ的解析式的求解过程：

最小二乘意义下的参数最优解：

加入λ扰动后：

线性回归的复杂度惩罚因子：

正则项与防止过拟合：

梯度下降算法：

梯度方向推导：

批量梯度下降算法：

随机梯度下降算法：