神经网络
1、生物学上的神经网络是是目前发现的神经元细胞间相互组合链接组成一个互连的网络，通过对外界的刺激，神经元产生发送化学物质进而内部发生电位变化，下图是生物神经元结构。
生物神经元的具体工作我们不需要了解，只需要知道互连神精元接受刺激产生物质通过比较阈值最终是兴奋还是抑制。在算法结构上，想要的就是他的这种网络结构模型。Hebb认为神经网络的学习过程最终是发生在神经元之间的突触部位，突触的联结强度随着突触前后神经元的活动而变化，变化的量与两个神经元的活性之和成正比。那么生物神经网络的特点有哪些昵？1） 每个神经元都是一个多输入单输出的信息处理单元； 2） 神经元输入分兴奋性输入和抑制性输入两种类型； 3）神经元具有空间整合特性和阈值特性； 4）神经元输入与输出间有固定的时滞，主要取决于突触延搁。
2、从感知到神经网路：心理学家Warren Mcculloch和数理逻辑学家Walter Pitts提出并给出了人工神经网络的概念及人工神神经元的数学模型，从而开创了人类神经网络研究的时代。人类的好多发明都来源与仿生学，最初的人工神经网络模型可以说感知机模型，简单的模仿神经元构造，其逻辑结构如下图。与书中的M-P模型大致相似，差别在于这里的**函数输出结果兴奋对于1，抑制对应于-1（书中为0），物理模型仿照与生物神经元的反应是通过阶跃函数来实现，理想的阶跃函数的结果只有1和0对应于兴奋与抑制。理想的函数到了数学理论模型上经常不选用，不具有连续和不光滑的性质（不具有这些性质个人认为是不利于参数的训练，容量空间也小，结果只能1和0，数据之间的关系难以表达）。
感知机的数学模型为。单层感知机最主要的用途就是线性分类，分类边界是y=0，类似与用一条直线划分0和类似与用一条直线划分0和1，其实就用一个超平面划分两个类别单层两个类别，他的目的就是计算出恰当的权值系数（W1，W2....Wn），如在上图中的理论模型中，算法的步骤是我们对训练样本输入，在初始化参数W矩阵，通过期望输出与实际输出的误差，调节权值W矩阵，最终结果使得W矩阵对于训练样本的误差最小，这样在相似的输入情况下，其输出结果也会相似根据一定判定准则就可以对新输入的测试数据分类。这里的权值更新准则为。