极大似然估计MLE 的理解及代码

极大似然估计

一、离散型统计模型
$\boldsymbol{L}\left( \boldsymbol{\theta } \right) =\prod_{\boldsymbol{i}=1}^{\boldsymbol{n}}{\boldsymbol{P}_{\boldsymbol{\theta }}}\left( \boldsymbol{X}_{\boldsymbol{i}}=\boldsymbol{x}_{\boldsymbol{i}} \right)$L(θ)=i=1∏n​Pθ​(Xi​=xi​)
二、连续型统计模型
$\boldsymbol{L}\left( \boldsymbol{\theta } \right) =\prod_{\boldsymbol{i}=1}^{\boldsymbol{n}}{\boldsymbol{P}_{\boldsymbol{\theta }}}\left( \boldsymbol{X}_{\boldsymbol{i}}=\boldsymbol{x}_{\boldsymbol{i}} \right)$L(θ)=i=1∏n​Pθ​(Xi​=xi​)

似然函数的直观意义就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值寻 $\theta$θ
那么要怎么寻找与数据的匹配程度呢？

这里举一个例子：假设一个盒子里有10个球，3个白球，7个红球，进行有放回的抽取，那么我们可以知道抽到白球的概率$\theta$θ为3/10，抽到红球的概率为7/10。但是这里只是我们的直觉，我们的直观的感受，但是我们要找到一个理论来描述我们这个直觉，那应该怎么做呢？这就用到了极大似然估计。

x	白球	红球
p	$\theta$θ	1- $\theta$θ

这里假设一共有n个球，其中白球有$n_1$n1​个，红球有$n_2$n2​个，那么我们的直觉告诉我们
直觉：$\theta$θ=$n_1$n1​/n

那么带到公式里面去，就得到：
$\boldsymbol{L}\left( \boldsymbol{\theta } \right) =\boldsymbol{\theta }^{\boldsymbol{n}_1}\left( 1-\boldsymbol{\theta } \right) ^{\boldsymbol{n}_2}$L(θ)=θn1​(1−θ)n2​
好，现在似然函数写出来了，我们就要寻找使$L(\theta)$L(θ)取得最大（最趋近于1的时候）的时候$\theta$θ的取值，这里就用到高数里的求偏导。
但是这个式子是相乘的求偏导比较复杂，我们取对数，使其转成相加的就更好求导。
$\ln \left( \boldsymbol{L}\left( \boldsymbol{\theta } \right) \right) =\ln \left( \boldsymbol{\theta }^{\boldsymbol{n}_1}\left( 1-\boldsymbol{\theta } \right) ^{\boldsymbol{n}_2} \right)$ln(L(θ))=ln(θn1​(1−θ)n2​)
$\ln \left( \boldsymbol{L}\left( \boldsymbol{\theta } \right) \right) =\boldsymbol{n}_1\ln \boldsymbol{\theta }+\boldsymbol{n}_2\ln \left( 1-\boldsymbol{\theta } \right)$ln(L(θ))=n1​lnθ+n2​ln(1−θ)
$\frac{\boldsymbol{d}\ln \left( \boldsymbol{L}\left( \boldsymbol{\theta } \right) \right)}{\boldsymbol{d\theta }}=\frac{\boldsymbol{n}_1}{\boldsymbol{\theta }}-\frac{\boldsymbol{n}_2}{1-\boldsymbol{\theta }}=0$dθdln(L(θ))​=θn1​​−1−θn2​​=0
$\boldsymbol{\hat{\theta}}=\frac{\boldsymbol{n}_1}{\boldsymbol{n}_1+\boldsymbol{n}_2}=\frac{\boldsymbol{n}_1}{\boldsymbol{n}}$θ^=n1​+n2​n1​​=nn1​​

那么这里就得出$\theta$θ与我们的取直觉相符合了