Matrix Differentiation（矩阵求导）
References: Matrix Differentiation,Rabdak J.Barnes
注： 本文直接从Matrix Differentiation开始记录，之前的乘法等基础部分不表。
Convention 3
m维向量对n维向量求导所得的结果是一个mxn矩阵,即Jacobian Matrix。
具体形式见上公式。
命题5 Proposition 5
即：Ax对x求导，结果为A
Proof
命题6 Proposition 6
即：y=Ax，而x是z的函数，那么便有
∂
y
∂
z
=
A
∂
x
∂
z
\frac{{\partial {\rm{y}}}}{{\partial z}} = A\frac{{\partial x}}{{\partial z}}
∂z∂y=A∂z∂x
Proof
命题7 Proposition 7
对于
α
=
y
T
A
x
\alpha = y^TAx
α=yTAx分别对x和y求导的结论。
Proof
命题8 Proposition 8
对于
α
=
x
T
A
x
\alpha = x^TAx
α=xTAx对x求导的结论。
Proof
命题9 Proposition 9
即命题8的特例，A是对称矩阵。
命题10 Proposition 10
即
α
=
y
T
x
\alpha = y^Tx
α=yTx，而y和x均为向量z的函数，对z求导的结果。
Proof
命题11 Proposition 11
命题10的特例， y = x y=x y=x
命题12 Proposition 12
对于
α
=
y
T
A
x
\alpha = y^TAx
α=yTAx,x和y都是向量z的函数，对z求导的结果。
Proof
命题13 Proposition 13
命题12的特例： y = x y=x y=x
命题14 Proposition 14
命题13的特例：A是对称矩阵