伯努利分布是一个离散型机率分布。试验成功,随机变量取值为1;试验失败,随机变量取值为0。成功机率为p,失败机率为q =1-p,N次试验后,成功期望为N*p,方差为N*p*(1-p) ,所以伯努利分布又称两点分布。

观察到的数据为D1,D2,D3,...,DN,极大似然的目标:

伯努利分布和高斯分布下的最大似然估计、交叉熵

联合分布难计算,我们因此引入一个假设,独立同分布(i.i.d.),目标公式改变为:

伯努利分布和高斯分布下的最大似然估计、交叉熵

将函数取对数,函数的极值点不会改变,公式变为:

伯努利分布和高斯分布下的最大似然估计、交叉熵

伯努利分布下随机变量的最大似然计算方法,P(X=1)=p,P(X=0)=1-p:

伯努利分布和高斯分布下的最大似然估计、交叉熵

伯努利分布和高斯分布下的最大似然估计、交叉熵

对p求导可得:

伯努利分布和高斯分布下的最大似然估计、交叉熵

令导数为0,得:

伯努利分布和高斯分布下的最大似然估计、交叉熵

高斯分布下最大似然估计法:

伯努利分布和高斯分布下的最大似然估计、交叉熵

伯努利分布和高斯分布下的最大似然估计、交叉熵

对期望求导:

伯努利分布和高斯分布下的最大似然估计、交叉熵

令导数为0:

伯努利分布和高斯分布下的最大似然估计、交叉熵

对方差求导,令导数为0:

伯努利分布和高斯分布下的最大似然估计、交叉熵

 

 

 

 

 

 

 

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-08-28
  • 2022-12-23
  • 2021-10-13
  • 2021-08-25
  • 2021-10-20
  • 2021-06-22
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-05-15
  • 2021-04-03
  • 2021-11-19
  • 2022-12-23
相关资源
相似解决方案