一、神经元模型：
θ为阀值，输入样本x与权重w相乘再求和若大于阀值θ则兴奋即输出为1，否则抑制输出为0，f为**函数经典的有Sigmoid函数
二、感知机与多层网络：
感知机由两层神经元组成
若θ设置为常数，则可训练出权重w
多层前馈神经网络：
三、误差逆传播算法
称BP算法，采用链式求导法则求出各层权重及阀值的导数。
假设神经网络的输出为：
则均方误差为：
梯度下降：η为学习率
首先求隐藏层到输出层权重Whj进行求导，先影响到β，在影响到输出yj，然后影响到Ek，有：
Sigmoid函数求导得：
将5.3代入5.4再求导得：
再将5.10和5.8代入5.7，再代入5.6，得到如下公式：
最终最小化累积误差：
避免过拟合加入正则化：
四、全局最小与局部极小：
解决神经网络陷入局部最小的常用方法：
1、选择多个不同的参数初始值，取其中误差最小的解最为最终参数
2、模拟退火技术
3、随机梯度下降
4、遗传算法
但是上述跳出局部极小的技术大多是启发式，理论上尚缺乏保障。
五、常见的神经网络：
1、RBF网络
2、ART网络
3、SOM网络
4、级联相关网络
5、Elman网络
6、Boltzmann机