方差这个是什么就不说了；
协方差定义在两个随机变量上（设$E(X)=\mu$，$E(Y)=\upsilon$）：
$cov(X,Y)=E[(X-\mu)(Y-\upsilon)]=E(XY)-\mu \upsilon$
若X和Y统计独立，那么协方差为0。
若随机变量为列向量，协方差为：
$cov(X,Y)=E[(X-\mu)(Y-\upsilon)^T]$
$cov(X,Y)=cov(Y,X)^T$
自协方差定义在随机过程上。如果$X_t$二阶平稳：
$\gamma(\tau)=E[(X_t-\mu)(X_{t+\tau}-\mu)]$
相应的，互协方差定义在两个随机过程上。
自相关/互相关类似于自协方差/互协方差，但不减直流。