判定系数推导 — Coefficient of Determination Derivation

通过线性回归得到回归参数后，可以通过计算判定系数R2来评估回归函数的拟合优度。判定系数R2定义如下：

R 2 = S S R S S T = 1 - S S E S S T

其中，SSR=∑i=1n(ŷ i−y¯i)2，SSE=∑i=1n(yi−ŷ i)2和SST=∑i=1n(yi−y¯)2。R2越接近1，回归函数的拟合优度越大。上式可改写成SST=SSR+SSE，即：

\sum i = 1 n (y i - y ¯) 2 = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2

为了理解R2，我们有必要先回顾一下线性回归的通式：

⎧ ⎩ ⎨ ⎪ ⎪ y ̂ i = f (x) = θ 0 + \sum j = 1 n θ j x j i y i = y ̂ i + ϵ i

其中，yi实际上由ŷ i和ϵi组成，ŷ i随xi变化而变化。令 x0i=1，ŷ i=θ0+∑j=1nθjxji可被改写成ŷ i=θTxi。将上式改写成向量和矩阵的形式：

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ 11 ⋮ 1 x 11 x 12 x 1 m x 21 x 22 x 2 m \dots \dots \dots x n 1 x n 2 x n m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ θ 0 θ 1 ⋮ θ n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ y ̂ 1 y ̂ 2 ⋮ y ̂ m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ y 1 y 2 ⋮ y m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ y ̂ 1 y ̂ 2 ⋮ y ̂ m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ + ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ϵ 1 ϵ 2 ⋮ ϵ m ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

当θ≠0时，Ŷ 是X的一个线性组合，即Ŷ 存在于由X的列向量所展开的列空间中。对于一次幂的线形回归，X的列空间即是一个超平面，Ŷ 是存在于面内的一个向量（即Y在面上的投影）。为了使得残差最小化，ϵ是Y垂直于面方向上的投影。在三维中的几何意义如下图（文中θ即图中β，图中Xi表示列向量，图取自）：
判定系数推导 — Coefficient of Determination Derivation

判定系数推导 — Coefficient of Determination Derivation

因为ϵ垂直于X的列空间，所以ϵ垂直于X的所有列向量，即XTϵ=0。又因ϵ=Y−Xθ，得：

X T (Y - X θ) = 0 X T Y = X T X θ θ = (X T X) - 1 X T Y Y ̂ = X θ = X (X T X) - 1 X T Y

根据Ŷ =Xθ=X(XTX)−1XTY，我们得到了投影矩阵P=X(XTX)−1XT。Ŷ =PY，投影矩阵P乘以Y得到了Y属于X列空间的分量Ŷ 。投影矩阵有两个性质需要了解：

P是对称矩阵；
$P T = (X (X T X) - 1 X T) T = X ((X T X) - 1) T X T = X ((X T X) T) - 1 X T = X (X T X) - 1 X T = P$
P2=P。
$P 2 = P T P = X (X T X) - 1 X T X (X T X) - 1 X T = X (X T X) - 1 X T X (X T X) - 1        X T = X (X T X) - 1 X T = P$

现在，我们可以开始推导判定系数公示SST=SSR+SSE了。如下（1∈Rm）：

S S T = \sum i = 1 n (y i - y ¯) 2 = \sum i = 1 n [(y i - y ̂ i) + (y ̂ i - y ¯)] 2 = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2 + \sum i = 1 n 2 (y i - y ̂ i) (y ̂ i - y ¯) = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2 + \sum i = 1 n 2 (y i - y ̂ i) (y ̂ i - y ¯) = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2 + 2 ϵ (Y ̂ - Y ¯ 1) = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2 + 2 ϵ (P Y - Y ¯ 1) = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2 + 2 ϵ T Y ̂ - 2 Y ¯ ϵ T 1

因为ϵ垂直于X的列空间，且Ŷ 属于X的列空间，所以ϵTŶ =0；又因为1=x0i∈Rm（1属于X的列空间），所以ϵT1=0。因此：

S S T = \sum i = 1 n (y ̂ i - y ¯ i) 2 + \sum i = 1 n (y i - y ̂ i) 2 + 2 ϵ T Y ̂ - 2 Y ¯ ϵ T 1 = S S R + S S E