【学习笔记】《数据挖掘：理论与算法》CH4神经网络

神经网络：巨量并行，智慧无限

1. 神经元（感知机，Perceptrons），注意常数项w0,不然总是经过原点
2. 如何设置和调整感知机输入的权重？
   梯度下降法，知错就改法（Stochastic Learning）
3. 如何解决线性不可分问题？
   线性不可分：一根线无法分出来类别
   解决办法：多层感知机，把原始问题转化，将不可分转化为可分
   
4. The Sigmoid Threshold Unit
   sigmoid函数代替门限函数
   输入值越接近0，导数越大
5. 神经网络算法（ANN）
   • BP(Backpropagation Rule) 前馈型
     能够很好的逼近任意复杂的函数
     深度学习：多层多层感知机
     缺点：陷入局部最优解
     学习率大小的设置：不能太小（必定掉入第一个坑），不能太大（超过真正的解）
   • Beyond BP Networks
     • Elman Network
       记忆功能
       
     • Hopfield Network
       回忆、联想功能
   • 特点
     神经网络训练速度慢、准确度高、可解释性差
6. Demo