【问题标题】：Standard Error of Coeficient V/S Variance of Coefficient of Multiple Linear Regression V/S Var-Covar Matrix系数的标准误差 VS 多元线性回归系数的方差 VS Var-Covar 矩阵
【发布时间】：2017-03-20 12:49:32
【问题描述】：
我正在根据我对每个术语定义的了解来理解回归系数的标准误差。
- 据我了解，标准误差的定义是对估计的统计准确性的衡量，等于大量此类估计的理论分布的标准差。
- 现在标准差是方差的平方根。因此，如果我们得到系数的方差，我们将得到标准误差。现在，据我所知，系数的方差是 V[b]，其中 b 是所有估计系数的矩阵，其中 X 是因变量矩阵，包括 X0=1。
- 但是当我搜索 Var[b] 的方程时，我得到一个 Var[b] 的方程，说它实际上是 Var-Covariance 矩阵，并且通过取平方根在该矩阵和标准误差的诊断中发现了方差该矩阵的诊断。
- 这让我感到困惑，好像 diagnol 是系数的方差，那么为什么将方差-协方差矩阵定义为 V[b]？我假设我在正确理解这些术语时迷失了方向。这里有什么帮助吗？我是统计新手。请帮我详细说明。
【问题讨论】：
标签：
matrix
regression
linear-regression
coefficients
standard-error
【解决方案1】：
在这个优秀的材料中找到答案，它实际上解决了您可能在多元线性回归和假设起源方面遇到的许多数学问题：https://web.stanford.edu/~mrosenfe/soc_meth_proj3/matrix_OLS_NYU_notes.pdf 第 8 页。回答我自己的问题：
将方差-协方差矩阵表示为 V[b] 可能会出错，因为它不是！它必须表示为 β^ 的方差协方差矩阵为 E[(β^ - β)(β^ - β)]。
现在下面的公式是有意义的。
Variation of Residualsinverse(Transpose(X Matrix)%%X Matrix)，其中残差变化定义为（Transpose of Residual Matrix%*%Residual Matrix）/（行数 - 列数)。
-
这清楚地表明，通过方差协方差矩阵的定义，该矩阵的诊断定义了每个系数的方差和与标准误差相同的平方根，也就是标准误差。