深度学习与PyTorch笔记13

感知机

单层感知机

单层感知机模型：
$y=XW+b$y=XW+b
$y=\sum x_{i}*w_{i}+b$y=∑xi​∗wi​+b

$x^{0}_{0\sim n}$x0∼n0​上标0表示输入层，下标0~n表示第i个元素。$w^{1}_{ij}$wij1​上标1表示第一层，下标i表示连接上一层的$x^{0}_{i}$xi0​节点，下标j表示连接这一层的第j个节点。第一层的$x^{1}_{0}$x01​经过**函数后变成$O^{1}_{0}$O01​。单层感知机，第一层只有一个点。再经过loss函数（$\sum(O^{1}_{0}-t)^{2}$∑(O01​−t)2）。

单层感知机梯度推导

单层感知机输出误差：$E=\frac{1}{2}(O^{1}_{0}-t)^{2}$E=21​(O01​−t)2
$\frac{\partial E}{\partial w_{j0}}=(O_{0}-t)\frac{\partial O_{0}}{\partial w_{j0}}$∂wj0​∂E​=(O0​−t)∂wj0​∂O0​​
$\frac{\partial E}{\partial w_{j0}}=(O_{0}-t)\frac{\partial\sigma(x_{0})}{\partial w_{j0}}$∂wj0​∂E​=(O0​−t)∂wj0​∂σ(x0​)​
$\frac{\partial E}{\partial w_{j0}}=(O_{0}-t)\sigma(x_{0})(1-\sigma(x_{0}))\frac{\partial x^{1}_{0}}{\partial w_{j0}}$∂wj0​∂E​=(O0​−t)σ(x0​)(1−σ(x0​))∂wj0​∂x01​​
$\frac{\partial E}{\partial w_{j0}}=(O_{0}-t)O_{0}(1-O_{0})\frac{\partial x^{1}_{0}}{\partial w_{j0}}$∂wj0​∂E​=(O0​−t)O0​(1−O0​)∂wj0​∂x01​​
$\frac{\partial E}{\partial w_{j0}}=(O_{0}-t)O_{0}(1-O_{0})x^{0}_{j}$∂wj0​∂E​=(O0​−t)O0​(1−O0​)xj0​
导数和输出$O_{0}$O0​和输入$x^{0}_{j}$xj0​有关。

$w^{'}=w-lr\nabla w$w′=w−lr∇w不断更新权值，得到最优权值，使得$x*w$x∗w越来越趋近于真实的$y$y值。

多层感知机

多层感知机梯度推导

多层感知机输出误差：$E=\frac{1}{2}\sum(O^{1}_{i}-t_{i})^{2}$E=21​∑(Oi1​−ti​)2
$\frac{\partial E}{\partial w_{jk}}=(O_{k}-t_{k})\frac{\partial O_{k}}{\partial w_{jk}}$∂wjk​∂E​=(Ok​−tk​)∂wjk​∂Ok​​i不等于k时为无关项。
$\frac{\partial E}{\partial w_{jk}}=(O_{k}-t_{k})\frac{\partial\sigma(x_{k})}{\partial w_{jk}}$∂wjk​∂E​=(Ok​−tk​)∂wjk​∂σ(xk​)​
$\frac{\partial E}{\partial w_{jk}}=(O_{k}-t_{k})\sigma(x_{k})(1-\sigma(x_{k}))\frac{\partial x^{1}_{k}}{\partial w_{jk}}$∂wjk​∂E​=(Ok​−tk​)σ(xk​)(1−σ(xk​))∂wjk​∂xk1​​
$\frac{\partial E}{\partial w_{jk}}=(O_{k}-t_{k})O_{k}(1-O_{k})\frac{\partial x^{1}_{k}}{\partial w_{jk}}$∂wjk​∂E​=(Ok​−tk​)Ok​(1−Ok​)∂wjk​∂xk1​​
$\frac{\partial E}{\partial w_{jk}}=(O_{k}-t_{k})O_{k}(1-O_{k})x^{0}_{j}$∂wjk​∂E​=(Ok​−tk​)Ok​(1−Ok​)xj0​