数学期望

\(E(X)=\int xdF(x) = \begin{cases} \sum xf(x), & \text{X为离散随机变量,} \\ \int xf(x)dx, & \text{X为连续随机变量} \end{cases}\)
如果\(\int |x|dF_X(x)< \infty\)，则称E(X)存在
\(令Y=g(X),则E(Y)=\int yf_Y(y)dy=E(g(X))=\int g(x)f(x)dx\)
令A为一事件并令\(g(x)=I_A(x),其中I_A(x)=1,x\in A;I_A(x)=0,x\notin A,从而\)

\[E(I_A(X))=\int I_A(x)f_X(x)dx=\int_Af_X(x)dx=P(X\in A) \]

换句话说，概率是期望的特殊情况

方差度量分布的分散程度，定义为\(\sigma ^2=E(X-\mu)^2 = \int(x-\mu)^2dF(X)\)
样本均值为\(\tilde{X}_n=\frac{1}{n}\sum_{i=1}^nX_i\)
样本方差为\(S_n^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\tilde{X}_n)^2\)
则\(E(\tilde{X}_n)=\mu,V(\tilde{X}_n)=\frac{\sigma^2}{n},E(S_n^2)=\sigma^2\)
如果X和Y是独立随机变量，则X和Y的协方差和相关系数可以用来度量X和Y之间线性关系的强弱。

\[Cov(X,Y)=E((X-\mu_X)(Y-\mu_Y))=E(XY)-E(X)E(Y)\\ Cov(X,Y)=\frac{1}{N-1}\sum_{i=1}^N(X_i-\mu_X)(Y_i-\mu_Y)\]

相关系数

\[\rho = \rho_{X,Y} = \rho(X,Y)=\frac{Cov(X,Y)}{\sigma_X \sigma_Y} \]

协方差矩阵\(\sum\):
\(V(X)= \begin{pmatrix} V(X_1) & Cov(X_1,X_2) & \cdots & Cov(X_1,X_k) \\ Cov(X_2,X_1) & V(X_2) & \cdots & Cov(X_2,X_k) \\ \vdots & \vdots & \ddots & \vdots \\ Cov(X_k,X_1)& Cov(X_k,X_2) & \cdots & V(X_k)\\ \end{pmatrix}\)

条件期望
如果g(x,y)为x和y的函数，则

\[E(g(x,y)|Y=y) = \begin{cases} \sum g(x,y)f_{X|Y}(x|y), & \text{离散情况} \\ \int g(x,y)f_{X|Y}(x|y)dx, & \text{连续情况} \end{cases}\]

条件期望跟期望有些区别，期望E(X)是一个数值，而条件期望E(X|Y)是y的函数，在观察Y之前，并不知道E(X|Y=y)的值 ，所以它是一个随机变量，记为E(X|Y),换句话说，E(X|Y)是随机变量，当Y=y时，其值为E(X|Y=y)
E(E(Y|X))=E(Y)=\(\int \int yf(x,y)dxdy\)

X的矩母函数或X的拉普拉斯变换定义为：\(\emptyset_X(t)=E(e^tX)=\int e^{tx}dF(x)\)