[贝叶斯八]之极大似然估计

一、简单介绍

极大似然估计是根据观察数据来估计模型参数的方法，即“模型已定，模型未知”。它是参数估计的一种方法，请参考《概率论与数理统计(浙大第四版)》中参数估计。

举个例子，大家都知道抛硬币的实验： 假设有一枚不规则的硬币，要计算它正面朝上的概率。其实就是估计一个二分布的参数。现在我们开始做实验，抛了10次，得到相应的结果。那么如何根据这些结果来估计我们的参数呢？这就是极大似然估计要处理的一个场景。

二、理论推导

我们假设[x1,x2,x3,x4,.......,xn]$[x_1,x_2,x_3,x_4,.......,x_n]$是独立同分布的采样，θ$\theta$是模型参数。因为采样是独立的，所以该采样出现的概率可以用如下连乘表示。

L(θ)=L(x1,x2,......,xn;θ)=∏i=1n p(xi;θ),θ∈Θ.(1)(2)$$\begin{array}{}\text{(1)}& L(\theta )& =L(x_1,x_2,......,x_n;\theta )\text{(2)}& & =\prod _{i=1}^{n}p(x_i;\theta ),\theta \in \mathrm{\Theta }.\end{array}$$

这一概率随着θ$\theta$取值而变化，它是θ$\theta$的函数，L(θ)$L(\theta )$称为样本的似然函数(注意，这里[x1,x2,x3,x4……xn]$[x_1,x_2,x_3,x_4\dots \dots x_n]$是已知的样本值，他们都是常数)。显然，这个事件已经发生了，那么按照人类的常理来说，我们认为概率越大的事件越可能发生，也就是我们可以认为θ$\theta$参数肯定是在L(θ)$L(\theta )$最大的时候取得的。由此，我们的问题变成了如何来最大化L(θ)$L(\theta )$。这也就是极大似然估计的想法。

对于计算来说连乘不太好算，所以一般取对数。

LL(θ)=log ∏i=1n p(xi;θ)=∑i=1n log p(xi;θ)(3)(4)$$\begin{array}{}\text{(3)}& LL(\theta )& =log\prod _{i=1}^{n}p(x_i;\theta )\text{(4)}& & =\sum _{i=1}^{n}logp(x_i;\theta )\end{array}$$

最终我们要求的 θ^ $\hat{\theta }$可以写成如下式子。

θ^ =argmaxθ LL(θ)(5)$$\begin{array}{}\text{(5)}& \hat{\theta }& =\underset{\theta }{argmax}LL(\theta )\end{array}$$

三、例题

例题均来自于概率论浙大第4版(在此再次表示感谢~)。

例题1：

例题2：

四、参考文献

[1] 《概率论与数理统计(浙大第4版)》
[2] 周志华. 《机器学习》[M]. 清华大学出版社, 2016.
[3] http://jermmy.xyz/2017/09/30/2017-9-30-maximum-likelihood-estimation/

---

<个人网页blog已经上线，一大波干货即将来袭：https://faiculty.com/>

/* 版权声明：公开学习资源，只供线上学习，不可转载，如需转载请联系本人 .*/

---