论文阅读：An Efficient Statistical Method for Image Noise Level Estimation

Introduction

噪声水平估计对于非盲去噪方法是至关重要的，噪声水平估计质量直接影响去噪的质量。这篇文章是2015年ICCV 的一篇文章，针对于加性高斯白噪声，其利用非局部相似块具有低秩性的特性，利用协方差矩阵冗余维度的特征值估计噪声水平，并取得了不错的效果。这篇文章的主要贡献在于
1. 分析了噪声水平和图像patch的协方差矩阵的特征值之间的关系；
2. 提出了一种无参方法在多项式时间内从特征值估计噪声水平的方法，并给与了理论证明；

Analysis

这篇文章的方法是针对于加性，独立，同质性的高斯噪声。所谓“同质性”指的是噪声方差对于图像中所有像素都是一个常数，不会随着位置和颜色强度改变。由于一般认为图像的噪声都是零均值噪声，所谓的噪声水平估计就是通过单张噪声图像估计高斯噪声的方差（或标准差）。
该文章的方法是基于以下观察：从无噪声图像中提取的patch常常处于一个低维子空间中，而不是均匀分布于所有空间中。所以噪声的方差就可以从冗余的空间维度上进行估计，那么噪声估计问题就变成了如何选择冗余维度的问题。

Method

把一张图像分解为一系列的patchXs={xt}st=1∈Rr×s$X_s=\{x_t{\}}_{t=1}^s\in {\mathbb{R}}^{r\times s}$。如果图像大小为M×N×c$M\times N\times c$，则Xs$X_s$包含s=(M−d+1)(N−d+1)$s=(M-d+1)(N-d+1)$个大小为d×d×c$d\times d\times c$的patch。然后将所有这些patch都变成向量，其维度为r=cd2$r=c{d}^2$。对于集Xs$X_s$中任意一个向量xt$x_t$，其可以分解为：

xt=x^t+et$$x_t={\hat{x}}_t+e_t$$

其中，x^t${\hat{x}}_t$是对应的无噪声图像patch，et$e_t$表示加性高斯白噪声，et∼Nr(0,σ2I)$e_t\sim N_r(0,{\sigma }^{2}I)$。

特征值

从下图中可以看出，无噪声图像patch的特征值多数为0（即说明其位于低维子空间），而噪声图像patch的特征值多数位于真实噪声方差50附近，但不是精确为50。

所以如何精确的获得噪声方差是需要解决的问题。
计算xt$x_t$的协方差矩阵可得

Σx=1s∑t=1s(xt−μ)(xt−μ)T$${\mathrm{\Sigma }}_x=\frac{1}{s}\sum _{t=1}^s(x_t-\mu )(x_t-\mu {)}^T$$

其中，μ=1s∑st=1xt$\mu =\frac{1}{s}\sum _{t=1}^s{x}_t$为其平均值。
对其做特征值分解可得

Σx=RΛRT=R⎡⎣⎢⎢⎢⎢⎢λ10⋮00λ2⋮0⋯⋯⋱⋯00⋮λr⎤⎦⎥⎥⎥⎥⎥RT$${\mathrm{\Sigma }}_x=R\mathrm{\Lambda }{R}^T=R\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_r\end{array}\right]R^T$$

则xt$x_t$可以表示为（此处yt$y_t$与原文表达意思不同）

xt=Ryt$$x_t=R{y}_t$$

假设干净的patch位于m$m$维线性空间中，m≪r$m\ll r$，则

x^t=Ay^t$${\hat{x}}_t=A{\hat{y}}_t$$

其中，R=[A,U]$R=[A,U]$，A∈Rr×m$A\in {\mathbb{R}}^{r\times m}$表示m$m$维的子空间。
综上可知，

xt=Ryt=R[y^t,0]+et=[A,U][y^t,0]+et$$x_t=R{y}_t=R\left[\begin{array}{c}{\hat{y}}_t,\\ \mathbf{0}\end{array}\right]+e_t=\left[A,U\right]\left[\begin{array}{c}{\hat{y}}_t,\\ \mathbf{0}\end{array}\right]+e_t$$

公式两边乘以RT$R^T$

RTxt=[y^t,0]+RTet=[y^t+ATet,UTet]$$R^T{x}_t=\left[\begin{array}{c}{\hat{y}}_t,\\ \mathbf{0}\end{array}\right]+R^T{e}_t=\left[\begin{array}{c}{\hat{y}}_t+A^T{e}_t,\\ U^T{e}_t\end{array}\right]$$

通过RT$R^T$将噪声部分et$e_t$从xt$x_t$中分离出来，且根据高斯函数性质，nt=UTet$n_t=U^T{e}_t$是服从高斯分布Nr−m(0,σ2I)$N_{r-m}(0,{\sigma }^{2}I)$的随机变量。
RTxt$R^T{x}_t$的协方差为

1s∑t=1s(RTxt)(RTxt)T=RTΣxR=Λ$$\frac{1}{s}\sum _{t=1}^s(R^T{x}_t)(R^T{x}_t{)}^T=R^T{\mathrm{\Sigma }}_{x}R=\mathrm{\Lambda }$$

为了估计噪声方差，将特征值S={λi}ri=1$S=\{{\lambda }_i{\}}_{i=1}^r$分成两个部分，其中，S1={λ1}mi=1$S_1=\{{\lambda }_1{\}}_{i=1}^m$表示主维度的特征值，S2={λ1}ri=m+1$S_2=\{{\lambda }_1{\}}_{i=m+1}^r$表示冗余维度的特征值。用冗余维度的特征值估计噪声方差。
由于冗余维度向量nt=UTet$n_t=U^T{e}_t$服从高斯分布Nr−m(0,σ2I)$N_{r-m}(0,{\sigma }^{2}I)$，对于向量nt$n_t$中的每一个元素nt[i]$n_t[i]$也是服从高斯分布N(0,\sigma^2)的随机变量，由于

λi=1s∑t=1snt[i]2,i∈m+1,m+2,..,r$${\lambda }_i=\frac{1}{s}\sum _{t=1}^s{n}_t[i{]}^2,i\in m+1,m+2,..,r$$

则特征值λi∈S2${\lambda }_i\in S_2$也是均值为噪声方差σ2${\sigma }^2$的随机变量。
这里放上文章中的引理：

维度选择

下图表示噪声图像特征值的直方图，可以看出除了少数比较大的异常值（主维度的特征值）以外，其余的特征值是服从高斯分布的，且根据上面的引理，其均值（期望）就是噪声方差。

所以现在的任务就是估计主维度的数量，去除其特征值，即判断特征值是否属于S2$S_2$。
放上文章另一个定理

其说明，当集合S$S$中的冗余维度足够多时，可以通过判断S$S$的平均值与其中值是否相等，来判断S$S$是否存在异常值。我是从另一个角度理解的，由于冗余维度的特征值服从高斯分布，高斯分布的均值等于其中值，而异常值的存在破坏了这种等价关系，随着异常值的剔除，其中值和均值逐渐接近。
在文章中，patch大小设为8×8$8\times 8$，则X={xt}st=1$X=\{x_t{\}}_{t=1}^s$维度为192，则主维度的数量不能超过67（具体证明可参见原文）。

算法

根据以上分析，则可以得到噪声水平估计算法，总体来说，就是通过剔除S$S$中的异常值，得到冗余维度的特征值，然后冗余维度的特征值的期望（均值）就是噪声的方差。