1. 神经网络
首先引入一些便于稍后讨论的新标记：
$L$：代表神经网络层数
$S_l$：代表第$l$层处理单元的个数
$K$：代表多分类中类别种数
2. 前向传播（forward propagation）
以上图为例：
令$\textbf{z}^{(2)} = \Theta^{(1)}\textbf{x}$，则$\textbf{a}^{(2)} = g(\textbf{z}^{(2)})$，计算后添加 $a_0^{(2)} = \textbf{I}$
令$\textbf{z}^{(3)} = \Theta^{(2)}\textbf{a}^{(2)}$, 则输出$h_{\Theta}(\textbf{x}) = \textbf{a}^{(3)} = g(\textbf{z}^{(3)})$
具体计算如下图：
$g(z)$：代表神经元激活函数
$a_i^{(l)}$：代表第$l$层第$i$个激活单元
$\Theta_{mn}^{(l)}$：代表第$l$层映射到第$l+1$层是权重矩阵，$m$是第$l+1$层激活单元数，$n$是第$l$层激活单元数+“偏置单元”
3. 反向传播（backpropagation propagation）
代价函数：