无偏估计的数学证明和分析

最近学习PCA，在求最大化方差 $\sigma^{2} = \frac{1}{P-1} \sum_{k=1}^{P}(v^{T}(x_{k}-\mu ))^{2}-\lambda(\left \| v \right \|^{2}-1)$ 时遇到了无偏估计的问题——为什么是P-1而不是P？整理了一些笔记写上来供参考，有错误的地方望批评指正。

简单理解

首先我们了解下无偏估计的定义：
估计量的数学期望等于被估计参数的真实值，则此估计量为被估计参数的无偏估计。

乍一看很绕口，我们从现实中的简单例子去解释会更好理解。
如果我们想知道一个城市人口的平均高度，我们可以通过采集该城市所有人的身高并计算平均值，这样得到的就是无偏的平均身高。
但实际情况是，出于成本考虑，我们不太可能去测量所有人的身高，于是我们通过采样来估计实际的平均身高。于是我们应用了随机采样等方法，而这些方法虽然没法准确地估计该城市的平均身高，但不同的采样方法均在真实平均身高附近波动，那么我们就可以说这个估计是无偏的。

类似的，我们用一下以下算法去估计总体方差：
$s^{2} = \frac{1}{n}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}$

以芯靶图为例，如果我们用n代入计算得到的预测值会偏离靶图中心；而用n计算，得到的值会在靶图中心。
无偏估计的数学证明和分析

数学证明及解析

将公式展开计算如下：
$\begin{aligned} & s^{2} = \frac{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}{n-1}\\ & E(s^{2}) = E(\frac{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}{n-1})\\ &= \frac{1}{n-1}E[\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}]\\ &= \frac{1}{n-1}E[\sum_{i=1}^{n}[(x_{i}-\mu) - (\bar{x}-\mu)]^{2}] \end{aligned}$

$E[\sum_{i=1}^{n}[(x_{i}-\mu) - (\bar{x}-\mu)]^{2}]$ 由 $E[\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}]$ 加一个 $\mu$ 括号里面再减一个 $\mu$ 得到。展开得到：

$\begin{aligned} & = \frac{1}{n-1}E[\sum_{i=1}^{n}(x_{i}-\mu)^{2} - 2\sum_{i=1}^{n}(x_{i}-\mu)(\bar{x}-\mu) + \sum_{i=1}^{n}(\bar{x}-\mu)^{2}]\\ & = \frac{1}{n-1}E[\sum_{i=1}^{n}(x_{i}-\mu)^{2} - 2(\bar{x}-\mu)\sum_{i=1}^{n}(x_{i}-\mu) + \sum_{i=1}^{n}(\bar{x}-\mu)^{2}]\\ & = \frac{1}{n-1}E[\sum_{i=1}^{n}(x_{i}-\mu)^{2} - n(\bar{x}-\mu)^{2}]\\ & = \frac{1}{n-1}(\sum_{i=1}^{n}E(x_{i}-\mu)^{2} - nE[(\bar{x}-\mu)^{2}])\\ & = \frac{1}{n-1}(\sum_{i=1}^{n}\sigma_{x_{i}}^{2} - n\sigma_{\bar{x}}^{2})\\ \end{aligned}$

其中， $\bar{x}-\mu$ 是个数所以能够被从求和符号内提出来。

又因为 $\sigma_{x_{i}}^{2}=\sigma^{2}$ ，且 $\sigma_{x_{i}}^{2}=\frac{\sigma^{2}}{n}$ ，因此：

$\begin{aligned} &=\frac{1}{n-1}(n\sigma^{2}-\sigma^{2})\\ &=\frac{1}{n-1}(n-1)\sigma^{2}\\ &=\sigma^{2} \end{aligned}$

因此 $E(s^{2})$ 是 $\sigma^{2}$ 的无偏估计量。

Reference

https://www.zhihu.com/question/22983179
https://www.youtube.com/watch?v=wlcvRrYKkx8