时间序列——第二章1

第二章

2.1 一般线性过程

一、线性平稳序列

线性平稳序列是白噪声的线性组合得到的序列。 最简单的线性平稳序列是有限运动平均。

设$\{\varepsilon_t\}=\{\varepsilon_t: \ t \in \mathbb Z\}${εt​}={εt​: t∈Z}是$WN(0,\sigma^2)$WN(0,σ2).对于非负整数$q$q和常数$a_0,a_1,\ldots,a_q(a_0 \neq 0, a_q \neq 0)$a0​,a1​,…,aq​(a0​​=0,aq​​=0),称

$X_t = \sum_{j=0}^q a_j \varepsilon_{t-j} = a_0\varepsilon_t +a_1\varepsilon_{t-1}+\cdots + a_q\varepsilon_{t-q}, \ \ t \in \mathbb Z$Xt​=j=0∑q​aj​εt−j​=a0​εt​+a1​εt−1​+⋯+aq​εt−q​,  t∈Z

是白噪声$\{\varepsilon_t\}${εt​}的(有限)运动平均或者滑动平均，简称$MA(Moving \ \ Average)$MA(Moving  Average)
注：可将$\{X_t\}${Xt​}视为线性滤波器的输出，白噪声看成驱动系统的扰动序列(激励).

$MA$MA的平稳性：
$E X_t = 0$EXt​=0
$E (X_{t+k} X_t) = \begin{cases} \sigma^2 \sum_{j=0}^{q-k} a_j a_{j+k}, & 0 \leq k \leq q, \\ 0, & k > q \end{cases}$E(Xt+k​Xt​)={σ2∑j=0q−k​aj​aj+k​,0,​0≤k≤q,k>q​

可见$\{X_t\}${Xt​}平稳。$\gamma_k=0,\forall k>q$γk​=0,∀k>q,称这样的序列为$q$q相关的。

线性滤波器的原始数据与滤波结果是一种算术运算，即用加减乘除等运算实现。包括 方框滤波（boxFilter）、均值滤波（blur）、高斯滤波（GaussianBlur）；
非线性滤波器的原始数据与滤波结果是一种逻辑关系，即用逻辑运算实现。包括最大值滤波、中值滤波（medianBlur）和双边滤波（bilateralFilter）。

参考资料：
常见线性滤波
线性滤波和非线性滤波

二、线性过程的两种等价形式

1、 传递形式

时间序列分析中建立随机模型的思想:
将顺序值之间高度依赖的时间序列$\{ X_t \}${Xt​}看成由一系列独立“冲击”序列所生成.
通常将“冲击”序列理想化为白噪声过程$\{\varepsilon_t, \ t \in \mathbb Z\}${εt​, t∈Z}，时间序列${ X_t }$Xt​取为白噪声的加权和.

$Wold$Wold分解式(正交分解)：
任意零均值纯非确定的平稳过程都可表示为线性形式(无穷阶滑动平均):
$X_t=\sum_{j=0}^{\infty}φ_j\varepsilon_{t-j}，t\in \mathbb Z$Xt​=j=0∑∞​φj​εt−j​，t∈Z
称为沃尔德系数(格林函数、传递函数)，其中$\{\varepsilon_t, \ t \in \mathbb Z\}${εt​, t∈Z}是白噪声序列。

注1：上式可表示为算子形式：$X_t=φ(\mathscr B)\varepsilon_t$Xt​=φ(B)εt​,其中$φ(\mathscr B)=1+\sum_{j=1}^{\infty}φ_j\mathscr B^j=\sum_{j=0}^{\infty}φ_j\mathscr B^j$φ(B)=1+∑j=1∞​φj​Bj=∑j=0∞​φj​Bj
称为传递函数或沃尔德系数的生成函数.

注2：对动态数据进行适当的预处理，可将非平稳序列 平稳化与零均值化.

注3：上式的工程解释：$X_t=φ(\mathscr B)\varepsilon_t$Xt​=φ(B)εt​ (线性滤波器模型)
将时间序${X_t } $ 视为线性滤波器的输出，白噪声看成驱动系统的扰动序列(激励)

2、自回归形式

在适当条件下$\{X_t,t\in \mathbb Z \}${Xt​,t∈Z}可表示为线性形式
$X_t=\varepsilon_t+\sum_{j=1}^{\infty}\pi_jX_{t-j},t\in \mathbb Z$Xt​=εt​+j=1∑∞​πj​Xt−j​,t∈Z
或 $\varepsilon_t=(1-\sum_{j=1}^{\infty}\pi_j\mathscr B^j)X_t=\pi(\mathscr B)X_t,t\in \mathbb Z$εt​=(1−∑j=1∞​πj​Bj)Xt​=π(B)Xt​,t∈Z

理解：回归这一词的意思是从已有的数据发现规律。与过去的$X_t$Xt​有联系，即相关。

3、 两者之间的关系

​ $X_t=φ(\mathscr B)\varepsilon_t,t\in \mathbb Z（*）$Xt​=φ(B)εt​,t∈Z（∗） 与 $\varepsilon_t=\pi(\mathscr B)X_t,t\in \mathbb Z（**）$εt​=π(B)Xt​,t∈Z（∗∗）

​ 可以看出两者互为逆转形式。

​ 将生成函数$φ(\mathscr B)$φ(B)作用于$（**）$（∗∗）式

​ $X_t=φ(\mathscr B) \varepsilon_t =φ(\mathscr B)\pi(\mathscr B)X_t$Xt​=φ(B)εt​=φ(B)π(B)Xt​
​ 得$φ(\mathscr B)\pi(\mathscr B)=1$φ(B)π(B)=1
​ 或$φ(\mathscr B)=\pi(\mathscr B)^{-1},\pi(\mathscr B)=φ(\mathscr B)^{-1}$φ(B)=π(B)−1,π(B)=φ(B)−1

传递形式：

逆转形式：

例：若平稳序列得自回归形式为$X_t =\pi X_{t-1}+\varepsilon_t$Xt​=πXt−1​+εt​或$\pi(\mathscr B)X_t=\varepsilon_t$π(B)Xt​=εt​
其中 $\pi(\mathscr B)=1-\pi \mathscr B,$π(B)=1−πB,有：
$φ(\mathscr B)=\pi(\mathscr B)^{-1}=\frac{1}{1-\pi \mathscr B}=1+\pi\mathscr B+\pi^2\mathscr B^2+...+\pi^j\mathscr B^j+...$φ(B)=π(B)−1=1−πB1​=1+πB+π2B2+...+πjBj+...

求得传递形式为：
$X_t=\pi^{-1}(\mathscr B)\varepsilon_t=φ(\mathscr B)=\sum_{j=0}^{\infty}\pi^j\varepsilon_{t-j}$Xt​=π−1(B)εt​=φ(B)=∑j=0∞​πjεt−j​

三、线性过程的均值函数与自协方差函数

2.1.1 定理 (Levi 单调收敛定理)

如果非负随机变量序列$\{\xi_n \}${ξn​}单调不减: $0\leq \xi_1 \leq \xi_2 \leq \cdots$0≤ξ1​≤ξ2​≤⋯
则当$ξn→ξ\ \ a.s.$ξn→ξ  a.s.时, 有 $\lim_{n\to \infty} E\xi_n=E\xi$limn→∞​Eξn​=Eξ

由于单调不减序列必有极限（极限也可以是正无穷），所以上面的随机变量$\xi$ξ一定存在。但是可能会有$p(\xi=\infty)>0$p(ξ=∞)>0这时$E\xi=\infty$Eξ=∞，可以取值$\infty$∞的随机变量通常被称为广义随机变量。

对于任何时间序列 $\{Y_t\}${Yt​}, 利用单调收敛定理得到

​ $\begin{aligned} E\left[ \sum_{t=-\infty}^{\infty} |Y_t| \right]=& \lim_{n\to \infty} E \left[ \sum_{t=-n}^{n} |Y_t| \right] \\ =& \lim_{n\to \infty}\sum_{t=-n}^{n} E|Y_t| = \sum_{t=-\infty}^{\infty} E |Y_t|. \end{aligned}$E[t=−∞∑∞​∣Yt​∣]==​n→∞lim​E[t=−n∑n​∣Yt​∣]n→∞lim​t=−n∑n​E∣Yt​∣=t=−∞∑∞​E∣Yt​∣.​

2.1.2定理 (控制收敛定理)

如果随机变量序列$\{\xi_n\}${ξn​}满足$|\xi_n|\leq \xi_0\ \ a.s.$∣ξn​∣≤ξ0​  a.s.和 $E|\xi_0|< \infty$E∣ξ0​∣<∞,
则当$\xi_n \to \xi\ \ a.s.$ξn​→ξ  a.s.时,有 $E|\xi|<\infty$E∣ξ∣<∞,并且$lim_{n\to \infty}E\xi_n \to E\xi$limn→∞​Eξn​→Eξ.

在上面两个定理成立条件下均有，

$\begin{aligned} \lim_{n \to \infty} E \xi_n = E \lim_{n \to \infty} \xi_n. \end{aligned}$n→∞lim​Eξn​=En→∞lim​ξn​.​

即期望与极限可以交换次序。

极限与积分交换次序的三个定理：

Lebesgue控制收敛定理是这样的描述的：
$\{f_{n}\}${fn​}是可测集$E$E上的可测函数列，$F$F是可测函数列的控制函数并且可积，$\{f_{n}\}${fn​}依测度收敛到f,则$f$f在E上可积并且
$\lim_{n \to \infty} \int_{E}f_{n}dx=\int_{E}fdx$limn→∞​∫E​fn​dx=∫E​fdx

Levi定理是这样叙述的:
$\{f_{n}\}${fn​}是可测集$E$E上的可测函数列，并且是非负的单调递增的即$0\leq f_{1}(x)\leq f_{2}(x) \cdots f_{n}(x) \leq f_{n+1}(x)\leq \cdots$0≤f1​(x)≤f2​(x)⋯fn​(x)≤fn+1​(x)≤⋯，那么$\{f_{n}(x)\}${fn​(x)}收敛（几乎处处收敛）于一个可积函数$f(x)$f(x)并且上面5楼的交换仍然成立。
$\lim_{n \to \infty} \int_{E}f_{n}dx=\int_{E}fdx$limn→∞​∫E​fn​dx=∫E​fdx

Fatou引理是这样说的：
$\{f_{n}\}${fn​}是可测集$E$E上的非负可测函数列, 有下面的非严格等式交换
$\int_{E}\underline{\lim}f_{n}(x)dx \leq \underline{\lim}\int_{E}f_{n}(x)dx$∫E​lim​fn​(x)dx≤lim​∫E​fn​(x)dx
详情可见
积分的极限定理

2.1.3定理

设时间序列$\{X_t\}${Xt​}满足$sup_tE|X_t|<+\infty$supt​E∣Xt​∣<+∞,如果$\sum_{j=-\infty}^{\infty}|\psi_j|<+\infty$∑j=−∞∞​∣ψj​∣<+∞,则序列：
$\psi(\mathscr B)X_t=\sum_{j=-\infty}^{\infty}\psi_j\mathscr B^jX_t=\sum_{j=-\infty}^{\infty}\psi_jX_{t-j}\ \ (*)$ψ(B)Xt​=j=−∞∑∞​ψj​BjXt​=j=−∞∑∞​ψj​Xt−j​  (∗)
依概率1收敛（sup 上确界supremum）

进而，如果$sup_tE|X_t|^2<+\infty$supt​E∣Xt​∣2<+∞,则序列均方收敛到同一极限。

证：由单调收敛定理和$sup_tE|X_t|<+\infty$supt​E∣Xt​∣<+∞，有
$\begin{matrix}E\left(\sum_{j=-\infty}^{\infty}|\psi_j||X_{t-j} |\right)\end{matrix}=lim_{n\to \infty}E\left(\sum_{j=-n}^{n}|\psi_j||X_{t-j} |\right) \\≤lim_{n\to \infty}E\left(\sum_{j=-n}^{n}|\psi_j|\right)sup_tE|X_{t-j}|<\infty$E(∑j=−∞∞​∣ψj​∣∣Xt−j​∣)​=limn→∞​E(j=−n∑n​∣ψj​∣∣Xt−j​∣)≤limn→∞​E(j=−n∑n​∣ψj​∣)supt​E∣Xt−j​∣<∞

因此$\sum_{j=-\infty}^{\infty}|\psi_j||X_{t-j}|$∑j=−∞∞​∣ψj​∣∣Xt−j​∣和$\psi(\mathscr B)X_t=\sum_{j=-\infty}^{\infty}\psi_j\mathscr B^jX_t=\sum_{j=-\infty}^{\infty}\psi_jX_{t-j}$ψ(B)Xt​=∑j=−∞∞​ψj​BjXt​=∑j=−∞∞​ψj​Xt−j​依概率1有限

如果$sup_tE|X_t|^2<+\infty,n>m>0,则当m,n\to\infty$supt​E∣Xt​∣2<+∞,n>m>0,则当m,n→∞时，有
$\begin{matrix}E\left|\sum_{m<|j|<n}\psi_jX_{t-j}\right|^2&=&\sum_{m<|j|<n}\sum_{m<|k|<n}\psi_j\hat \psi_kX_{t-j}\hat X_{t-k}\\ &≤&sup_tE|X_t|^2(\sum_{m<|j|<n}|\psi_j|)^2\to0\end{matrix}$E∣∣∣​∑m<∣j∣<n​ψj​Xt−j​∣∣∣​2​=≤​∑m<∣j∣<n​∑m<∣k∣<n​ψj​ψ^​k​Xt−j​X^t−k​supt​E∣Xt​∣2(∑m<∣j∣<n​∣ψj​∣)2→0​

由Cauchy收敛准则，序列$(*)$(∗)均方收敛。

令???? 表示序列$(*)$(∗)的均方极限，由Fatou引理，有
$\begin{matrix}E\left|S-\psi(\mathscr B)X_{t}\right|^2&=&Elim_{n\to \infty}inf\left( s-\sum_{j=-n}^{n} \psi_j X_{t-j} \right)\\ &≤&infE\left( s-\sum_{j=-n}^{n} \psi_j X_{t-j} \right)=0\end{matrix}$E∣S−ψ(B)Xt​∣2​=≤​Elimn→∞​inf(s−∑j=−nn​ψj​Xt−j​)infE(s−∑j=−nn​ψj​Xt−j​)=0​

即证明了S和$\psi(\mathscr B)X_t$ψ(B)Xt​依概率1相等

推论2.1

如果随机变量序列$\{Y_n\}${Yn​}满足$\sum_{i=-\infty}^\infty E|Y_i|\leq \infty$∑i=−∞∞​E∣Yi​∣≤∞，则 $\sum_{i=-\infty}^\infty Y_i ,a.s.$∑i=−∞∞​Yi​,a.s.收敛, $E|\sum_{i=-\infty}^\infty Y_i| < \infty$E∣∑i=−∞∞​Yi​∣<∞且
$\begin{aligned} E \sum_{n=-\infty}^\infty Y_n = \sum_{n=-\infty}^\infty E Y_n \end{aligned}$En=−∞∑∞​Yn​=n=−∞∑∞​EYn​​

证明 令
$\eta = \sum_{i=-\infty}^\infty |Y_i|$η=∑i=−∞∞​∣Yi​∣
则$\eta$η是随机变量， 由单调收敛定理知$E\eta < \infty, \eta < \infty, a.s.$Eη<∞,η<∞,a.s.。

令 $\xi_n = \sum_{i=-n}^n Y_i$ξn​=∑i=−nn​Yi​

则 $|\xi_n| \leq \eta,$∣ξn​∣≤η,

记事件$A = \{ \eta < \infty \}$A={η<∞}， 则$P(A) = 1$P(A)=1， 对$\omega \in A$ω∈A, 有$\sum_{i=-\infty}^\infty |Y_i(\omega)| < \infty$∑i=−∞∞​∣Yi​(ω)∣<∞所以$\sum_{i=-\infty}^\infty Y_i(\omega)$∑i=−∞∞​Yi​(ω)收敛， $\lim_{n\to\infty} \xi_n(\omega)$limn→∞​ξn​(ω)收敛，记为$\xi(\omega)； $对$对\omega \notin A$, 定义$,定义\xi(\omega) = 0$， 则$，则\xi$是随机变量， 且$是随机变量，且\lim_{n\to\infty} \xi_n = \xi, \text{ a.s.}$

记 $\xi = \sum_{i=-\infty}^\infty \xi_i .$ξ=∑i=−∞∞​ξi​.

由控制收敛定理 $\lim_{n\to\infty} E \xi_n = E \xi$limn→∞​Eξn​=Eξ,

而 $\lim_{n\to\infty} E \xi_n = \lim_{n\to\infty} E \sum_{i=-n}^n Y_i = \lim_{n\to\infty} \sum_{i=-n}^n E Y_i = \sum_{i=-\infty}^\infty E Y_i,$limn→∞​Eξn​=limn→∞​E∑i=−nn​Yi​=limn→∞​∑i=−nn​EYi​=∑i=−∞∞​EYi​,

于是有$E \sum_{i=-\infty}^\infty \xi_i = \sum_{i=-\infty}^\infty E \xi_i .$E∑i=−∞∞​ξi​=∑i=−∞∞​Eξi​.

四、线性平稳序列

如果实数列$\{a_j\}${aj​}满足 $\sum_{j=-\infty}^{\infty} |a_j| < \infty,$∑j=−∞∞​∣aj​∣<∞,则称$\{a_j\}${aj​}是绝对可和的. 记$\{a_j\} \in l_1${aj​}∈l1​

注意:$\{a_j\} \in l_1${aj​}∈l1​则$\{a_j\} \in l_2${aj​}∈l2​(即$\sum_j a_j^2 < \infty$∑j​aj2​<∞). 反之不一定成立。

对于绝对可和的实数列$\{a_j\}${aj​}, 定义零均值白噪声$\{\varepsilon_t\}${εt​}的无穷滑动和如下
$X_t=\sum_{j=-\infty}^{\infty} a_j \varepsilon_{t-j}, \ \ t \in \mathbb Z.$Xt​=∑j=−∞∞​aj​εt−j​,  t∈Z.
则$\{X_t\}${Xt​}是平稳序列。 $E X_t = 0$EXt​=0,
$\begin{aligned} \gamma_k = \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k}, k \in \mathbb Z .\end{aligned}$γk​=σ2j=−∞∑∞​aj​aj+k​,k∈Z.​

令$c_k = \sum_{j=-\infty}^\infty a_j a_{j+k}, k \in \mathbb Z$ck​=∑j=−∞∞​aj​aj+k​,k∈Z。

线性序列的a.s.收敛性

作为无穷和$\{X_t\}${Xt​}有没有定义？ 由$Schwarz$Schwarz不等式，
$E|\varepsilon_t| = E(|\varepsilon_t| \cdot 1) \leq \sqrt{E \varepsilon_t^2 \cdot 1} = \sigma,$E∣εt​∣=E(∣εt​∣⋅1)≤Eεt2​⋅1​=σ,
所以
$\sum_{j=-\infty}^\infty E |a_j \varepsilon_{t-j}| = \sum_{j=-\infty}^\infty |a_j| E|\varepsilon_{t-j}| \leq \sigma \sum_{j=-\infty}^\infty |a_j| < \infty$∑j=−∞∞​E∣aj​εt−j​∣=∑j=−∞∞​∣aj​∣E∣εt−j​∣≤σ∑j=−∞∞​∣aj​∣<∞,
由推论2.1可知$\sum_{j=-\infty}^\infty a_j \varepsilon_{t-j}$∑j=−∞∞​aj​εt−j​ a.s.收敛。

线性序列的$L_1$L1​收敛性

级数的余项的$L_1$L1​模
$\begin{aligned} & E \left| \sum_{|j|>N} a_j \varepsilon_{t-j} \right| \leq \sum_{|j|>N} |a_j| E |\varepsilon_{t-j}| \leq \sigma \sum_{|j|>N} |a_j| \to 0 \end{aligned}$​E∣∣∣∣∣∣​∣j∣>N∑​aj​εt−j​∣∣∣∣∣∣​≤∣j∣>N∑​∣aj​∣E∣εt−j​∣≤σ∣j∣>N∑​∣aj​∣→0​
即线性平稳列在$L_1$L1​意义下收敛。

线性序列的平稳性

由推论2.1可知

$\begin{aligned} E \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j} &= \sum_{j=-\infty}^\infty a_j E \varepsilon_{t-j} = 0 \end{aligned}$Ej=−∞∑∞​aj​εt−j​​=j=−∞∑∞​aj​Eεt−j​=0​

由$Schwarz$Schwarz不等式知$E|\epsilon_{t-j} \epsilon_{t+k-l}| \leq \sigma^2$E∣ϵt−j​ϵt+k−l​∣≤σ2, 于是
$\sum_{j=-\infty}^\infty \sum_{l=-\infty}^\infty E |a_j a_l \epsilon_{t-j} \epsilon_{t+k-l}| \leq \sigma^2 \sum_{j=-\infty}^\infty \sum_{l=-\infty}^\infty |a_j|\; |a_l| = \sigma^2 \left( \sum_{j=-\infty}^\infty |a_j| \right)^2 < \infty$∑j=−∞∞​∑l=−∞∞​E∣aj​al​ϵt−j​ϵt+k−l​∣≤σ2∑j=−∞∞​∑l=−∞∞​∣aj​∣∣al​∣=σ2(∑j=−∞∞​∣aj​∣)2<∞,
由推论2.1，
$\begin{aligned} E X_t X_{t+k} &= E \sum_{j=-\infty}^\infty a_j \varepsilon_{t-j} \sum_{l=-\infty}^\infty a_l \varepsilon_{t+k-l} \\ &= \sum_{j=-\infty}^\infty \sum_{l=-\infty}^\infty a_j a_l E(\varepsilon_{t-j} \varepsilon_{t+k-l}) \\ &= \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k} \end{aligned}$EXt​Xt+k​​=Ej=−∞∑∞​aj​εt−j​l=−∞∑∞​al​εt+k−l​=j=−∞∑∞​l=−∞∑∞​aj​al​E(εt−j​εt+k−l​)=σ2j=−∞∑∞​aj​aj+k​​
即$\{X_t\}${Xt​}是平稳序列, $E X_t=0， \gamma_k = \sigma^2 \sum_{j=-\infty}^\infty a_j a_{j+k}.$EXt​=0，γk​=σ2∑j=−∞∞​aj​aj+k​.

线性序列的L2收敛性

设$\{a_j\} \in l_2${aj​}∈l2​，即$\sum_j a_j^2 < \infty$∑j​aj2​<∞，则
$\begin{aligned} X_t=\sum_{j=-\infty}^{\infty} a_j \varepsilon_{t-j}\ (L^2) \end{aligned}$Xt​=j=−∞∑∞​aj​εt−j​ (L2)​
也是平稳序列。期望为零，自协方差函数同上。

$X_t$Xt​定义的无穷级数是$L^2$L2收敛的。 证明需要应用Hilbert空间性质。

注意$\{a_j \} \in L_1 \Longrightarrow \{a_j \} \in L_2${aj​}∈L1​⟹{aj​}∈L2​。

线性序列的自协方差函数收敛性

当$\{a_j\} \in l_1${aj​}∈l1​时
$\sum_{k=-\infty}^{\infty} |\gamma_k| < \infty$∑k=−∞∞​∣γk​∣<∞
事实上，
$\begin{aligned} & \sum_{k=-\infty}^{\infty} |\gamma_k| \leq \sigma^2 \sum_{k=-\infty}^{\infty} \sum_{j=-\infty}^{\infty} |a_j a_{j+k}| \\ & = \sigma^2 \sum_{j=-\infty}^{\infty} |a_j| \sum_{k=-\infty}^{\infty} |a_{j+k}| = \sigma^2 (\sum_{j=-\infty}^{\infty}|a_j|)^2 < \infty \end{aligned}$​k=−∞∑∞​∣γk​∣≤σ2k=−∞∑∞​j=−∞∑∞​∣aj​aj+k​∣=σ2j=−∞∑∞​∣aj​∣k=−∞∑∞​∣aj+k​∣=σ2(j=−∞∑∞​∣aj​∣)2<∞​

○○○○○○

线性序列的应用：

线性序列描述了自协方差函数衰减到零的时间序列。 只要样本自协方差函数衰减到零就可以用线性序列来描述。

单边线性序列：

$X_t = \sum_{j={\mathbf 0}}^\infty a_j \varepsilon_{t-j}, \ t \in \mathbb Z$Xt​=j=0∑∞​aj​εt−j​, t∈Z
称为单边运动平均(MA)，或单边无穷滑动和。 这样的X_t有因果性：$X_t$Xt​只受$s \leq t$s≤t的$\varepsilon_s$εs​影响而不受 $t$t时刻以后的$\varepsilon_s$εs​影响。
$\gamma_k = \begin{cases} \sum_{j=0}^\infty a_j a_{j+k},\ & k \geq 0 \\ \gamma_{-k} \ & k < 0 \end{cases}$γk​={∑j=0∞​aj​aj+k​, γ−k​ ​k≥0k<0​