pytorch nn.Linear的理解

Linear层的理解

• 单个sample的Linear数学表达式
• pytorch nn.Linear

单个sample的Linear数学表达式

上图是前向传播的一个简单示例图。首先说明下该图中各个数学符号的含义：
$X$X：单个sample的向量表达；
$x_i$xi​：输入sample向量的第$i$i维；
$W^{(l)}$W(l)：$Layer_{l-1}$Layerl−1​到$Layer_{l}$Layerl​的前向传播权重矩阵；
$w_{ij}^{(l)}$wij(l)​：权重矩阵$W^{(l)}$W(l)的元素，${j}$j表示$Layer_{l-1}$Layerl−1​中第$j$j个元素，$i$i表示$Layer_{l}$Layerl​中第$i$i个元素，$w_{ij}$wij​表示$j$j到$i$i的连接权重；
$Z^{(l)}$Z(l)：$Layer_l$Layerl​接受到的刺激信号向量；
$z_i^{(l)}$zi(l)​：$Layer_l$Layerl​接受到的刺激信号向量中的第$i$i个值；
$A^{(l)}$A(l)：$Layer_l$Layerl​的**值向量；
$a_i^{(l)}$ai(l)​：$Layer_l$Layerl​对应$z_i^{(l)}$zi(l)​的**值；
这里主要写一下Layer 1到Layer 2的前向传播数学表达式：
$z_1^{(2)}=w_{11}^{(2)}x_1+w_{12}^{(2)}x_2+w_{13}^{(2)}x_3 \\ z_2^{(2)}=w_{21}^{(2)}x_1+w_{22}^{(2)}x_2+w_{23}^{(2)}x_3 \\ z_3^{(2)}=w_{31}^{(2)}x_1+w_{32}^{(2)}x_2+w_{33}^{(2)}x_3$z1(2)​=w11(2)​x1​+w12(2)​x2​+w13(2)​x3​z2(2)​=w21(2)​x1​+w22(2)​x2​+w23(2)​x3​z3(2)​=w31(2)​x1​+w32(2)​x2​+w33(2)​x3​
在深度学习中，这样的表达式过于繁琐，通常使用矩阵来进行简洁的表达。上述表达式的矩阵表达为：
$\left[ \begin{matrix} z_1^{(2)} \\ z_2^{(2)} \\ z_3^{(2)} \end{matrix} \right]=\left[ \begin{matrix} w_{11}^{(2)} & w_{12}^{(2)} & w_{13}^{(2)} \\ w_{21}^{(2)} & w_{22}^{(2)} & w_{23}^{(2)} \\ w_{31}^{(2)} & w_{32}^{(2)} & w_{33}^{(2)} \end{matrix} \right]\left[ \begin{matrix} x_1 \\ x_2 \\ x_3 \end{matrix} \right]+\left[ \begin{matrix} b_1^{(2)} \\ b_2^{(2)} \\ b_3^{(3)} \end{matrix} \right] \tag{1}$⎣⎢⎡​z1(2)​z2(2)​z3(2)​​⎦⎥⎤​=⎣⎢⎡​w11(2)​w21(2)​w31(2)​​w12(2)​w22(2)​w32(2)​​w13(2)​w23(2)​w33(2)​​⎦⎥⎤​⎣⎡​x1​x2​x3​​⎦⎤​+⎣⎢⎡​b1(2)​b2(2)​b3(3)​​⎦⎥⎤​(1)
$Z^{(l)}=W^{(l)}X+B^{(l)}\tag{2}$Z(l)=W(l)X+B(l)(2)
公式(2)中的$Z^{(l)}$Z(l)和$X$X都是列向量。

pytorch nn.Linear

torch.nn.Linear(in_features, out_features, bias=True)
官方文档的注释：
Applies a linear transformation to the incoming data：$y=xA^T+b$y=xAT+b
对比公式(2)，可以发现$A$A其实就是$W$W，但是两者的表达还是有些不同的。
个人理解：公式(2)是针对单个sample的数学推导，其中单个sample是以列向量的形式表达的，但是在神经网络的训练中一般是使用batch train，这个时候就要使用sample matrix了。$x$x表示sample matrix，矩阵的每一行表示一个sample，即$x$x的size为$batchsize*in\_features$batchsize∗in_features，$in\_features$in_features表示上一层的输出维度。$y$y的size为$batch\_size*out\_features$batch_size∗out_features，$out\_features$out_features表示该层的输出维度，即该层的隐藏神经元个数。单个sample时，我们用列向量来表示sample，但是在sample matrix时，我们有行向量表示一个sample，所以矩阵$A$A需要转置。
$batch\_size*in\_features*in\_features*out\_features=batch\_size*out\_features$batch_size∗in_features∗in_features∗out_features=batch_size∗out_features
矩阵$A$A的维度是$out\_features*in\_features$out_features∗in_features，这和$W$W的形式是相同的。
之所以要转置，估计是因为batch train的原因。

关于shape的理解：
对于二维sample matrix，$*$∗表示batch_size，三维sample matrix，N可以理解为channel；不管有多少维，理解的时候从最后一维开始理解，最后一维表示一个样本的维度，前一维表示多少个样本，最后两维表示构成一个sample matrix；再往前一维表示有多少个这样的sample matrix；更多的维度按照这样的方式去理解就比较容易了。
#preference:
1、https://zhuanlan.zhihu.com/p/71892752
2、https://pytorch.org/docs/stable/nn.html#linear-layers