极大似然 （一）

　　极大似然估计的思想是：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实

关于极大似然原理的引例：

设有甲乙两个箱子，各箱都有黑白两种球共100个，其组成情况如下：

	甲箱	乙箱
白球	99	1
黑球	1	99

现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球。因为从乙箱抽取黑球的概率比从甲箱抽取黑球的概率大得多，所以我们自然更多地相信这个黑球是取自乙箱的。

 

　　一般说来，事件 A 发生的概率与某一未知参数 有关。事件 A 发生的概率可以写为   ， 取值不同概率 也不相同。在一次试验中事件 A 发生了，则认为此时 （t_i时）的 值应是 π 的一切可能取值中使 达到最大的那一个 π，可以记作 =  π_{i 。}极大似然估计法就是要选取这样的 π 值作为参数  的估计值，使所选取的样本在被选的总体中出现的可能性为最大。

　　极大似然估计，是一种概率论在统计学的应用，它是参数估计的方法之一。说的是：已知某个随机样本满足某种概率分布，但是关于这种概率分布的具体参数未知，通过若干次试验，观察其结果，利用结果估计出未知参数的大概值。当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

 

 

 

1.若总体 X 为离散型，其概率分布为

其中

 为为未知参数。设

 是取自总体的样本容量为 n 的样本，则

的联合分布律为

。又设

 的一组观测值为

，易知样本

 取到观测值

 的概率为

这一概率随

的取值而变化，它是

的函数，称

为样本的似然函数。

 

2、若总体X为连续型，其概率密度函数为

，

其中

为未知参数。设

 

是取自总体的样本容量为 n 的简单样本，则

的联合概率密度函数为

。又设

 

的一组观测值为

，则随机点

 

落在点

的邻边（边长分别为

的n维立方体）内的概率近似地为

。

考虑函数

同样，

称为样本的似然函数。

 

　　极大似然估计法原理就是固定样本观测值

，挑选参数

使

这样得到的

估计值

与样本值有关，

  称为参数

的极大似然估计值，其相应的统计量

  称为

的极大似然估计量。极大似然估计简记为 MLE 或

。

问题是如何把参数

的极大似然估计

求出。更多场合是利用

是

的增函数，故

 

与

在同一点处达到最大值。对似然函数

取对数，利用微分学知识转化为求解对数似然方程

解此方程并对解做进一步的判断。但由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点，就可以很到参数的极大似然估计。极大似然估计法一般属于这种情况，所以可以直接按上述步骤求极大似然估值。