时间序列平稳模型（二）

本章介绍第一类非常重要的模型：自回归滑动平均模型（ARMA)。在真实案例中，ARMA模型也被高频的使用到，更是后面模型的基础，反正，时间序列是绕不过去ARMA模型的。

2.1 一般线性过程

ARMA模型属于一大类过程（模型），即一般线性过程。一听到线性过程，是不是就觉得不难了？事实也是如此，别怕，干！

那什么叫线性过程呢？对一时间序列{Yt}

，比如就是2017年06月 27日的上证指数。则其可表示成现在与过去白噪声的加权线性组合：

Y t = e t + ψ 1 e t - 1 + ψ 2 e t - 2 + \dots t = 0, \pm 1, \pm 2, \dots

其中{et}代表白噪声序列，{ψj}={ψj:j=0,1,2,…}为一实数列（可认为ψ0为1）。考虑到收敛问题，需加一个限制条件：∑∞j=0ψ2j<+∞

。

2.2 滑动平均过程

2.2.1 一阶滑动平均过程

在介绍ARMA模型前，先介绍一些它的简化版本，这样循序渐进，慢慢深入，痛苦也会少一点，快乐也就多一点。

最先介绍的当然是滑动平均（Moving Average, MA)，而且是滑动平均的最简版：一阶滑动平均。

对于一阶滑动平均{Xt

}：

X t = e t + θ e t - 1 t = 0, \pm 1, \pm 2, \dots

通常称{X~t~} 为MA(1)序列。

接下来要探讨统计特征啦（以后，再学习一些模型时，都会经历这一步，其实这才是重点啊，因为这些特征告诉我们模型的特性，那也就暗示了模型的应用场景啊！当然，==从应用的层面，也不需要你知道怎么推导，故只需关注每个公式最后的等号就可以了==，当然如果想加深理解、记忆，每个公式仔细看是有必要的）

E (Y t) = E (e t + θ e t - 1) = 0

v a r X t = v a r (e t + θ e t - 1) = σ 2 (1 + θ 2)

c o v (X t, X t - 1) = c o v (e t + θ e t - 1, e t - 1 + θ e t - 2) = θ σ 2

c o v (X t, X k) = c o v (e t + θ e t - 1, e k + θ e k - 1) = 0, k \geq 2.

因此，对于MA(1),自协方差函数γk

和自相关系娄ρk:

γ 0 = σ 2 (1 + θ 2), ρ 0 = 1 γ 1 = θ σ 2, ρ 1 = θ 1 + θ 2 γ k = 0, ρ k = 0, k \geq 2. ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

时间序列平稳模型（二）

2.2.2 q阶滑动平均— MA(q)序列

任给定q个实数θ1,θ2,…,θq(θq≠0)

，则MA(q) {Xt}序列：

X t = e t + θ 1 e t - 1 + θ 2 e t - 2 + \dots + θ q e t - q, t = 0, \pm 1, \pm 2, \dots

可见，MA(q)与MA(1)是非常类似的，只不过有变得繁琐而已（注意，是‘繁’不是‘难’）。

比如处协方差函数γk

和自相关函数ρk( 因et系数为一，自然地，约定θ0=1)：

γ k = {σ 2 (θ k + θ 1 θ k + \dots + θ q - k θ q), 0, 0 \leq k \leq q k > q .

ρ k = ⎧ ⎩ ⎨ ⎪ ⎪ θ k + θ 1 θ k + \dots + θ q - k θ q 1 + θ 21 + \dots + θ 2 q, 0, 0 \leq k \leq q k > q .

为使上面的等式可识别（‘可识别’ 可简单的理解为参数可估）需加一些限制，比如：

1 + θ 1 z + θ 2 z 2 + \dots + θ q z q \neq 0, | z | \leq 1.

当然，这个条件对等式成立本身没有影响，只是为了参数可识别而已，对于应用来说，其实可忽略，因为实际应用时，默认参数可识别，如果最终结果不符，我们就会换到其他模型了（尴尬~）。这也是学院派与经验派（或务实派）的一个区别吧。

2.3平稳自回归过程

另一个ARMA的简化版即为自回归(Auto Regression,AR)过程。如MA我们先介绍一阶自回归(AR(1))开始。

2.3.1 一阶自回归过程

对于一阶自回归序列{Xt

}(AR(1))：

X t - ϕ X t - 1 = e t, t = 0, \pm 1, \pm 2, \dots

其中白噪声{et} ~ WN(0,σ2)，也被称为新息项，因其是过去所不包含的，新加入的;|ϕ|<1, 否则会发生‘爆炸’，可以很容易知道，忽略白噪声，上式就是一个以ϕ为等比的数列，假设 ϕ=1.5咱们来看下（9）式的一段图像(假设X0=0

):
时间序列平稳模型（二）

上图可以看到，t还没到20， X~t~ 已经达到-1000了。

正如刚刚提到，AR序列类似等比数列：

X t = ϕ X t - 1 + e t = e t + ϕ (ϕ X t - 2 + e t - 1) = e t + ϕ e t - 1 + ϕ 2 X t - 2 ⋮ ⋮ ⋮ = \sum i = 0 N ϕ i e t - i + ϕ N + 1 X t - N - 1, (N \geq 1)

注意，这里还是要求|ϕ|<1

于是：

X t = \sum i = 0 \infty ϕ i e t - i, t = 0, \pm 1, \pm 2, \dots

故，{Xt

}又被称为指数平滑序列。

对（9）式可写成：

X t = ϕ X t - 1 + e t

对两边求方差即可得到：

γ 0 = ϕ 2 γ 0 + σ 2

对γ0求解：

γ 0 = σ 2 1 - ϕ 2

γ k = E (X t X t - k) - E X t E X t - k = E (\sum i = 0 \infty ϕ i e t - i \sum j = 0 \infty ϕ j e t - k - j) - 0 = E (\sum i = 0 \infty \sum j = 0 \infty ϕ i + j e t - i e t - k - j) = \sum i = 0 \infty \sum j = 0 \infty ϕ i + j E (e t - i e t - k - j) = \sum j = 0 \infty ϕ j + k + j σ 2 (其 实 这 里 有 个 t r i c k, 即 i = j + k) = ϕ k σ 2 1 - ϕ 2 = ϕ k γ 0 . k = 0, 1, 2, \dots

再强调一遍，如果只是想了解下时间序列，只是想应用，那就只关注等式的最后一个等号就可以了。

上式为自协方差函数，根据γk

,可求得：

ρ k = γ k γ 0 = ϕ k, k = 0, 1, 2, \dots

2.3.2 p阶平稳自回归序列

怎么样，公式有点多，醉没醉？可以休息下再看，什么再来一壶，OK！AR(p)继续！

AR(p)序列{Xt}

X t - ϕ 1 X t - \dots - ϕ p X t - p = e t, t = 0, \pm 1, \pm 2, \dots

其中ϕ1,ϕ2,…ϕp为p个实数，平稳性条件：1−ϕ1z−…ϕpzp≠0, |z|≤1

对于线性表示，经过‘不太复杂’的推导，可得：

X t = e t + ψ 1 e t - 1 + ψ 2 e t - 2 + \dots

其中系数{ψj:j=1,2,…}由下式确定：

1 1 - ϕ 1 z - \dots - ϕ p z p = 1 + ψ 1 z + ψ 2 z 2 + \dots

利用{Xt}的线性表式（16）式，可得一个重要等式：

E (X t - k e t) = 0, k = 1, 2, \dots

下面来求解AR(p)序列的自相关系数ρk

在（15）式两边同乘Xt−k,(K≥1)

X t X t - k - ϕ 1 X t - 1 X t - k - \dots - ϕ p X t - p X t - k = X t - k e t

两边同求数学期望：

γ k - ϕ 1 γ k - 1 - \dots - ϕ p γ k - p = 0, k = 1, 2, \dots

同除γ0:

ρ k = ϕ 1 ρ k - 1 + \dots + ϕ p ρ k - p, k = 1, 2, \dots

分别令 k=1,2,…,p,可得如下线性方程组：

ρ 1 ρ 2 ρ p - 1 ρ p = = ⋮ = = ϕ 1 + ϕ 2 ρ 1 + \dots + ϕ p ρ p - 1 ϕ 1 ρ 1 + ϕ 2 + \dots + ϕ p ρ p - 2 ⋮ ⋮ ⋮ ϕ 1 ρ p - 2 + ϕ 2 ρ p - 3 + \dots + ϕ p ρ 1 ϕ 1 ρ p - 1 + ϕ 2 ρ p - 2 + \dots + ϕ p ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

这就是著名的Yule-Walker方程。

上式写成矩阵形式更方便记忆：

⎛ ⎝ ⎜ ⎜ ⎜ ⎜ 1 ρ 1 \dots ρ p - 1 ρ 1 1 \dots ρ p - 2 ⋮ ⋮ ⋮ ⋮ ρ p - 1 ρ p - 2 \dots 1 ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ϕ 1 ϕ 2 ⋮ ϕ p ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ρ 1 ρ 2 ⋮ ρ p ⎞ ⎠ ⎟ ⎟ ⎟ ⎟

全是公式？！怎么搞？！举了例子呗：

例：设AR(2)序列{X~T~}:

X t - X t - 1 + 14 X t - 2 = e t, t = 0, \pm 1, \pm 2, \dots

其中{et}∼WN(0,1). 试求{Xt}的自相关系数ρ1,ρ2

解：

可知：ϕ1=1,ϕ2=−14

则：

(1 ρ 1 ρ 1 1) (ϕ 1 ϕ 2) = (ρ 1 ρ 2)

解得：

ρ 1 = 45 ， ρ 2 = 1120

对时间序列建模，我们一般是要求回归参数ϕk的。此问题对于MA(q)序列并不平凡，但对AR(p)序列，就相对容易得多，这也是为什么AR(p)序列更加常用的原因。有些同学可能会说，不就是对Yule-Walker方程求解嘛，比如矩阵形式，求个逆就OK了，Bingo!答对了，but，上面式子中的自相关系数ρk是用ϕk

表示的，低阶可能还好解，高阶就等着崩溃吧，所以实际数值计算过程中，并不用这种理论上可行，但实际难于操作的方式，而是用一种叫递推迭代算法（Durbin-Levinson算法）。

这里只给出公式就够了：

ϕ 1, 1 = ρ 1, ϕ k + 1, k + 1 = ρ k + 1 - ϕ k, 1 ρ k - \dots - ϕ k, k ρ 1 1 - ϕ k, 1 ρ 1 - \dots - ϕ k, k ρ k, 1 \leq k \leq p - 1 ϕ k + 1, j = ϕ k, j - ϕ k + 1, k + 1 ϕ k, k + 1 - j, 1 \leq j \leq k ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪

2.4 平稳自回归滑动平均序列

Finaly, 终于到了自回归滑动平均(Auto Regression Moving Average，ARMA(p,q))序列{Xt

},当然上面也都是ARMA序列，只不过是简化版本而已。

ARMA(p,q)序列是满足下面差分方程的序列（参数意义同上）：

X t - ϕ 1 X t - 1 - \dots - ϕ p X t - p = e t + θ 1 e t - 1 + \dots + θ q e t - q

为了可识别，需有些限制条件：

(z) = 1 - ϕ 1 z - \dots - ϕ p z p \neq 0, | z | \leq 1 Θ (z) = 1 + θ 1 z + \dots + θ q z q \neq 0, | z | \leq 1 Φ (z) 与 Θ (z) 互 质 ⎫ ⎭ ⎬ ⎪ ⎪

2.5 总结

今天讲了ARMA(p,q)模型，这个模型其实还是基础模型，但我与大家同感，尽管是基础模型，可还是很复杂，没办法，时间序列这一数据类型决定了其相关的模型是不平凡的。

不过，也不用担心，虽然公式多了点（是在我尽力规避不必要公式后，还有这么多，