极大似然估计:说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值
通俗来说就是:利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。
极大似然估计中采样需要满足一个重要的假设,就是所有的采样都是独立同分布的。
决策边界是假设函数的一个属性,它包括参数seta_0,seta_1…
他们都是假设函数的属性,决定于其参数,不是数据集的属性。
决策边界不是训练集的属性,而是假设本身以及参数的属性,只要给定了参数向量seta。决策边界就确定了。
我们不是用训练集来定义决策边界的,我们用训练集来拟合参数seta
确保损失函数是个凸函数,这样就能收敛到该函数的全局最小值。
损失函数的推导过程: