漫步数理统计二十五——正态分布

正态分布的动机源于中心极限定理（我们后面会介绍这个定理），这个定理说明正态分布为应用于统计推断提供了重要的一族分布，我们首先从标准正态分布开始。

考虑积分

I = \int \infty - \infty 1 2 π ‾ ‾ ‾ \sqrt exp (- z 2 2) d z (1)

这个积分是存在的，因为积分项是正的连续函数，它小于一个积分函数即

0 < exp (- z 2 2) < exp (- | z | + 1), - \infty < z < \infty

且

\int \infty - \infty exp (- | z | + 1) d z = 2 e

为了计算I，注意到I>0且I2可以写成

I 2 = 1 2 π \int \infty - \infty \int \infty - \infty exp (- z 2 + w 2 2) d z d w

通过极坐标变换可以求出该积分。如果令z=rcosθ,w=rsinθ，那么我们有

I 2 = 1 2 π \int 2 π 0 \int \infty 0 e - r 2 / 2 r d r d θ = 1 2 π \int 2 π 0 d θ = 1

因为(1)在R上是正的且R上积分为1，所以它是R上连续型随机变量的pdf，我们用Z表示随机变量，那么Z的pdf为

f (z) = 1 2 π ‾ ‾ ‾ \sqrt exp (- z 2 2), - \infty < z < \infty (2)

对于t∈R，Z的mgf推导如下：

E [exp {t Z}] = \int \infty - \infty exp {t z} 1 2 π ‾ ‾ ‾ \sqrt exp {- 12 z 2} d z = exp {12 t 2} \int \infty - \infty 1 2 π ‾ ‾ ‾ \sqrt exp {- 12 (z - t) 2} d z = exp {12 t 2} \int \infty - \infty 1 2 π ‾ ‾ ‾ \sqrt exp {- 12 w 2} d w (3)

其中对于最后一步积分，我们进行了一对一的变量代换w=z−t，根据(2)可知，表达式(3)的值为1，因此Z的mgf为：

M Z (t) = exp {12 t 2}, - \infty < t < \infty (4)

MZ(t)的前二阶导如下：

M' Z (t) = t exp {12 t 2} M ″ Z (t) = exp {12 t 2} + t 2 exp {12 t 2}

将t=0代入得到Z的均值与方差为

E (Z) = 0, v a r (Z) = 1 (5)

接下来定义连续随机变量X为

X = b Z + a

其中b>0，这是一对一变换，为了求出X的pdf，注意到变换的逆与雅可比为：z=b−1(x−a),J=b−1。因为b>0，所以由(2)可得X的pdf为

f X (x) = 1 2 π ‾ ‾ ‾ \sqrt b exp {- 12 (x - a b) 2}, - \infty < x < \infty

由(5)可得出E(X)=a,var(X)=b2，因此在X的pdf表达式中，我们可以用μ=E(X),σ2=var(X)代替a,b，正式的形式如下定理所示。

定义1：对于随机变量X，如果它的pdf为

f (x) = 1 2 π ‾ ‾ ‾ \sqrt σ exp {- 12 (x - μ σ) 2}, - \infty < x < \infty (6)

参数μ,σ2分别是X的均值与方差，我们常写成X满足N(μ,σ2)分布。

利用上面的符号，(2)中的随机变量Z满足N(0,1)分布，我们称Z是标准正态随机变量。

对于X的mgf，根据关系X=σZ+μ以及Z的mgf可得：

E [exp {t X}] = E [exp {t (σ Z + μ)}] = exp {μ t} E [exp {t σ Z}] = exp {μ t} exp {12 σ 2 t 2} = exp {μ t + 12 σ 2 t 2} (7)

其中−∞<t<∞。

总结一下就是：

当 且 仅 当 Z = X - μ σ 满 足 N (0, 1) 分 布 时 ， X 满 足 N (μ, σ 2) 分 布 。 (8)

例1：如果X的mgf为

M (t) = e 2 t + 32 t 2

那么X满足μ=2,σ2=64的正态分布，进一步，随机变量Z=X−28满足N(0,1)分布。

例2：之前我们用标准正态随机变量的矩生成函数推导出它的各阶矩，现在利用这个结论推导出满足N(0,1)分布的随机变量X的各阶矩。同上面一样，我们可以写成X=σZ+μ，其中Z满足N(0,1)分布，因此对于所有非负整数k，利用二项定理可得

E (X k) = E [(σ Z + μ) k] = \sum j = 0 k (k j) σ j E (Z j) μ k - j (9)

之前给出了Z的奇数矩为0，偶数矩由确定的表达式，将其代入(9)中即可推导出X的矩。

正态pdf(6)的图像如图1所示，有以下几个性质：(1)关于x=μ对称；(2)在x=μ处有最大值1/(σ2π‾‾‾√)；(3)x轴是其渐近线；(4)x=μ±σ处为拐点。

文章开头提到，许多实际应用设计到正态分布，特别的，我们很想计算与其有关的概率。然而正态分布的pdf包含exp−s2这些项，因此无法以封闭的形式得到它们的反导，必须使用数值积分方法。因为标准正态分布与正态分布之间的关系(8)，我们只需要计算标准正态分布的概率即可，为此我们将标准正态随机变量Z的cdf表示为

Φ (z) = \int z - \infty 1 2 π ‾ ‾ ‾ \sqrt exp {- w 2 2} d w 0 (1)

令X满足N(μ,σ2)分布，假设我们想计算某个特定x的FX(x)=P(X≤x)，对于Z=(X−μ)/σ，表达式(8)说明

F X (x) = P (X \leq x) = P (Z \leq x - μ σ) = Φ (x - μ σ)

因此我们只需要Φ(z)的数值积分值，正态值通过Z的值就能计算出来了。例如，对于特定的p，我们想计算xp使得p=FX(xp)，取zp=Φ−1(p)，那么根据(8)可得xp=σzp+μ。

图1

图2为标准正态密度，从左到zp的密度函数下面区域面积为p；即Φ(zp)=p。

例3：令X满足N(2,25)，那么通过查表可得

P (0 < X < 10) = Φ (10 - 2 5) - Φ (0 - 2 5) = Φ (1.6) - Φ (- 0.4) = 0.945 - (1 - 0.655) = 0.600

且

P (－ 8 < X < 1) = Φ (1 - 2 5) - Φ (－ 8 - 2 5) = Φ (－ 0.2) - Φ (－ 2) = (1 - 0.579) - (1 - 0.977) = 0.398

图2

例4：假设X满足N(μ,σ2)分布，那么查表可得

P (μ - 2 σ < X < μ + 2 σ) = Φ (μ + 2 σ - μ σ) - Φ (μ - 2 σ - μ σ) = Φ (2) - Φ (- 2) = 0.977 - (1 - 0.977) = 0.954

例5：假设某正态分布N(μ,σ2)小于60的概率为百分之十，大于90的概率为百分之五，那么μ,σ的值是多少？给定随机变量X满足N(μ,σ2)且P(X≤60)=0.10,P(X≤90)=0.95，所以Φ[(60−μ)/σ]=0.10,Φ[(90−μ)/σ]=0.95，查表可得

60 - μ σ = - 1.282, 90 - μ σ = 1.645

由此可得μ=73.1,σ=10.2。

注1：之后我们会常遇到与分布相关的三个参数，N(μ,σ2)中的均值μ称为位置参数，因为改变这个值只是简单的改变了正态pdf中间的位置；即pdf的图像与原来是一样的，除了位置移动了以外。N(μ,σ2)的标准差σ称为尺度参数，因为小的σ需要正态pdf又高又窄，而大的σ需要正态pdf又低又宽，然而不论μ,σ是什么值，正态pdf的图像都与钟类似，顺带提一下，伽玛分布的参数β也称为尺度参数，α称为形状参数，因为改变值后其形状发生了变化。二项与泊松分布的p,μ也都是形状参数。

最后介绍两个重要的定理。

定理1：如果随机变量X满足N(μ,σ2),σ2>0，那么随机变量V=(X−μ)2/σ2满足χ2(1)分布。

证明：因为V=W2，其中W=(X−μ)/σ满足N(0,1)，所以对v≥0，G(v)的cdf为

G (v) = P (W 2 \leq v) = P (- v \sqrt \leq W \leq v \sqrt)

即

G (v) = 2 \int v \sqrt 0 1 2 π ‾ ‾ ‾ \sqrt e - w 2 / 2 d w, 0 \leq v

且

G (v) = 0, v < 0

进行变量代换w=y√，那么

G (v) = \int v 0 1 2 π ‾ ‾ ‾ \sqrt y \sqrt e - y / 2 d y, 0 \leq v

因此连续型随机变量V的pdfg(v)=G′(v)为

g (v) = 1 π ‾ ‾ \sqrt 2 ‾ ‾ \sqrt v 1 / 2 - 1 e - v / 2, 0 < v < \infty = 0 e l s e w h e r e

因为Γ(12)=π‾‾√，所以V为χ2(1)。||

另一个重要的定理就是独立情况下的加性。

定理2：令X1,…,Xn是独立的随机变量，使得Xi满足N(μi,σ2i)分布。令Y=Σni=1aiXi，其中a1,…,an是常数，那么Y的分布为N(Σni=1aiμi,Σni=1a2iσ2i)

证明：利用独立性与正态分布的mgf，对于t∈R，Y的mgf为

M Y (t) = E [exp t Y] = E [exp {\sum i = 1 n t a i X i}] = \prod i = 1 n E [exp {t a i X i}] = \prod i = 1 n exp {t a i μ i + (1 / 2) t 2 a 2 i σ 2 i} = exp {t \sum i = 1 n a i μ i + (1 / 2) t 2 \sum i = 1 n a 2 i σ 2 i}

这就是N(Σni=1aiμi,Σni=1a2iσ2i)分布的mgf。||

该结论一个简单的推论为X¯=n−1Σni=1Xi的分布，其中X1,X2,…,Xn为独立同分布的随机变量。

推论1：令X1,…,Xn是独立同分布N(μ,σ2)的随机变量，令X¯=n−1Σni=1Xi，那么X¯满足N(μ,σ2/n)分布。

为了证明这个推论，只需要取ai=(1/n),μi=μ,σ2i=σ2，其中i=1,2,…,n，然后利用定理2即可。