最大似然估计法回顾

为什么似然函数要连乘并求最大?

射击实验，假设采样的击中次数概率如下图，真实概率分布式为红线：
假设概率分布：
$P\{X=k\} = C_{0}^{k} P^{k}(1-P)^{10-k}$P{X=k}=C0k​Pk(1−P)10−k

若果有k=4,5,6的概率值，那么求似然函数：
$L(P)= C_{10}^{4} P^{4}(1-P)^{6} \cdot C_{10}^{5} P^{5}(1-P)^{5} \cdot C_{10}^{6} P^{4}(1-P)^{4}$L(P)=C104​P4(1−P)6⋅C105​P5(1−P)5⋅C106​P4(1−P)4

可以看到$L(0.5)$L(0.5) > $L(0.3)$L(0.3),$L(0.5)$L(0.5) > $L(0.7)$L(0.7)，而当$p = 0.5$p=0.5时，$L(0.5)$L(0.5)达到最大，也就是说估计的参数和真实的概率分布是极其相似的，事实上射击击中概率就是$0.5$0.5

步骤

1. 写出似然函数：
   $L(\theta)=L\left(x_{1}, x_{2}, \ldots, x_{n} ; \theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)=\prod_{i=1}^{n} P\left(x_{i} ; \theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)$L(θ)=L(x1​,x2​,…,xn​;θ1​,θ2​,…,θm​)=∏i=1n​P(xi​;θ1​,θ2​,…,θm​)（离散型）
   $L(\theta)=L\left(x_{1}, x_{2}, \ldots, x_{n} ; \theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)=\prod_{i=1}^{n} f\left(x_{i} ; \theta_{1}, \theta_{2}, \ldots, \theta_{m}\right)$L(θ)=L(x1​,x2​,…,xn​;θ1​,θ2​,…,θm​)=∏i=1n​f(xi​;θ1​,θ2​,…,θm​)（连续型）
2. 取对数$ln L$lnL
3. 对$\theta_{1}, \theta_{2}, \ldots, \theta_{m}$θ1​,θ2​,…,θm​ 求偏导数 $\frac{\partial \ln L}{\partial \theta_{i}}, i=1,2, \ldots, m$∂θi​∂lnL​,i=1,2,…,m
4. 判断方程组 $\frac{\partial \ln L}{\partial \theta_{i}}$∂θi​∂lnL​ 是否有解.若有解，则其解即为所求最大似然估计 $;$; 若无解，则最大似
   然估计常在 $\theta_{i}$θi​ 的边界点上达到。

练习

设总体 $X$X 的分布律为 $P\{X=k\}=p(1-p)^{k-1}, k=1,2, \cdots,$P{X=k}=p(1−p)k−1,k=1,2,⋯, 其中 $p$p 为未知参数,$X_{1}, X_{2}, \cdots, X_{n}$X1​,X2​,⋯,Xn​ 为来自总体 $X$X 的简单随机样本，求参数 $p$p 的矩估计量和极大拟然估计量。

【解】
(1) $E X=\sum_{k=1}^{\infty} k p(1-p)^{k-1}=\left.p\left(\sum_{k=1}^{\infty} x^{k}\right)^{\prime}\right|_{x=1-p}=\left.p\left(\frac{x}{1-x}\right)^{\prime}\right|_{x=1-p}=\frac{1}{p}$EX=∑k=1∞​kp(1−p)k−1=p(∑k=1∞​xk)′∣∣∣​x=1−p​=p(1−xx​)′∣∣∣​x=1−p​=p1​
令 $E X=\bar{X} \Rightarrow \hat{p}=\frac{1}{\bar{X}}$EX=Xˉ⇒p^​=Xˉ1​

(2) $L\left(x_{1}, x_{2}, \cdots, x_{n} ; p\right)=P\left\{X=x_{1}\right\} P\left\{X=x_{2}\right\} \cdots P\left\{X=x_{n}\right\}=p^{n}(1-p)^{x_{1}+x_{2}+\cdots+x_{n}-n},$L(x1​,x2​,⋯,xn​;p)=P{X=x1​}P{X=x2​}⋯P{X=xn​}=pn(1−p)x1​+x2​+⋯+xn​−n,
$\ln L=n \ln p+\left(x_{1}+x_{2}+\cdots+x_{n}-n\right) \ln (1-p),$lnL=nlnp+(x1​+x2​+⋯+xn​−n)ln(1−p),
$\left.\frac{d}{d p} \ln L=\frac{n}{p}-\frac{x_{1}+x_{2}+\cdots+x_{n}-n}{1-p}=0 \Rightarrow \hat{p}=\frac{1}{x} \text { (最大似然估计值 }\right)$dpd​lnL=pn​−1−px1​+x2​+⋯+xn​−n​=0⇒p^​=x1​ (最大似然估计值 )
$\hat{p}=\frac{1}{\bar{X}}$p^​=Xˉ1​ (最大似然估计量)。

参考：最大似然估计