上一节从最小二乘函数损失函数优化求解线性回归模型参数，本节将通过概率统计的角度求解线性回归模型参数，为最小二乘算法给出其概率上解释。
首先假设输出变量与输入变量之间存在关系：
(1)
其中，ε（i) 模型的预测值与真实值之间的噪声，我们假设预测值的噪声是随机独立的，服从分布：
(2)
因此，我们可以得到：
(3)
对于N个样本我们得到它的似然函数：
(4)
最大化对数似然函数L(Θ):
(5)
该式等于最小化：
(6)
当前这个公式正是在 ”线性回归模型之一“一文中提到的最小二乘的损失函数。