5.1 神经元模型
神经网络中最基本的单位是神经元模型，在生物神经网络中，每个神经元与其他神经元相连，当“兴奋”时，就会向相连的神经元发送化学物质，改变神经元内电位，若超过了某个“阈值”，那么它就会被**，即“兴奋”起来。
M-P神经元模型：
“**函数”可以处理输入信号以产生神经元的输出
典型的神经元**函数：
5.2 感知机与多层网络
感知机由两层神经元组成，输入层接受外界信号给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。
感知机能容易的实现与，或，非运算。
感知机只有输出层神经元进行**函数处理，即只拥有一层神经元，学习能力有限。感知机能解决的与或非均为线性可分问题，但不能解决异或这种简单的非线性可分问题
若要解决，就需要使用多层功能神经元
6.3 误差逆传播算法
训练多层网络，误差逆传播（BP）是最杰出的代表，是迄今最成功的神经网络学习算法。
BP算法不仅可用于多层前馈神经网络，还可用于其他类型的神经网络。
BP 算法工作流程：
BP算法的目标是要最小化训练集D的累积误差
根据图5.8如果类似的推导出基于累计误差最小化的更新规则，就得到了累计误差逆传播算法，
标准BP算法每次针对单个训练样例更新权值与阈值。累计BP算法其优化目标是最小化整个训练集上的累计误差。在很多任务中，累计误差下降到一定程度后，进一步下降会非常缓慢，这是标准BP算法往往会获得较好的解，尤其当训练集非常大时效果更明显。
由于强大的表示能力，BP神经网络经常遭遇过拟合，训练误差持续降低，但测试误差却可能上升。有两种策略可以缓解。第一是 早停。第二是 正则化。
5.4 全局最小与局部极小
此外，遗传算法也常用来训练神经网络以更好地逼近全局最小。
5.5 其他常见神经网络
RBF网络
ART网络
SOM网络
结构：
SOM训练目标：为每个输出层神经元找到合适的权向量以保持拓扑结构
级联相关网络
将网络的结构也当做学习的目标之一，往往在训练过程中找到适合数据的网络结构
与一般的前馈神经网络相比，级联相关网络无需设置网络层数，隐层神经元数目，且训练速度较快，但数据较小时容易陷入过拟合。
Elman网络
Bolyzmann机
5.6 深度学习
典型的深度学习模型就是很深层的神经网络。
另一种节省开销的策略是”权共享“，即让一组神经元使用相同的权连接。这个策略在卷积神经网络中发挥的重要作用，以CNN进行手写数字识别任务为例，如图