- Recognizing patterns
-Objects in real scenes
-Facial identities or facial expressions
-Spoken words
- Recognizing anomalies
-Unusual sequences of credit card transactions
-Unusual patterns of sensor readings in nuclear power plant
- Prediction
-Future stock prices or currency echange rates
-Which movies will a person like
Standard Task: The MNIST database of hand-written digits
- They are publicly available and we can learn them quite fast in moderate-sized neural net.
- We know a huge amout about how well various machine learning methods do on MNIST
Deep neural networks pioneered by
George Dahl
and Abdel-rahman Mohamed
are now replacing the previous machine learning method for the acoustic model.
神经元：（neuron）
细胞体
轴突：发送信息给其他神经元
树突：从其他神经元接收信息
一个神经元的轴突连接其他神经元的树突 （突触）
一个活动的刺激沿着轴突传递，导致电荷通过突触注入突触后面的神经元。一个神经元的树突接收到足够的电荷，使得轴丘部分发生去极化，生成一个刺激。当轴丘去极化以后，神经元会通过轴突发送一个刺激，这个刺激就是沿着轴突传播的去极化子的波。
突触（synapses）拥有有趣的结构. 他们包含一种小的囊泡, 囊泡中是一些递质化学物质. 当一个刺激到达轴突, 会导致这些囊泡迁移到轴突表面, 并释放这些化学物质 到突触的裂缝之中.
神经递质分为不同的几种. 其中有两种神经递质分别起到实现正向和负向的刺激
突触的功能：
改变传递的囊泡的数量
改变接收分子对神经递质的敏感性
Synapses are slow , but they have advantages over RAML
-They are very small and very low-power.
-They adapt using locally available signals
But what rules do they use to decide how to change?
——————————————————————————————————————————————————————————————
Some neural models
Linear neurons 线性神经
simple but computationally limited
Binary threshold neurons 阈值型神经元
超过阈值输出1，否则输出0
Rectified Linear Neurons 分段线性神经元
S型神经元（sigmoid neurons）：应用最广泛的神经元
导数连续
Stochastic binary neurons 随机阈值型神经元
（泊松分布）
————————————————————————————————————————————————————————————
A simple example
输入特定形状时，该形状的输出单元会被**。
如果一个像素是活跃的，它要做的是给特定的形状投票。每个像素可以给多个形状投票。每个投票可以有不同的强度。
增加从图像中活动的像素到正确分类的权重
控制权值：减小从活跃像素到任何网络猜测分类的权重。
添加多个训练以后：
这个网络所学到的东西相当于每个形状的迷你模板，然后判断哪个形状的模板与输入的图形中重叠最多，哪个图形就是胜出者。
手写数字在权重上变化太复杂，简单的模板不能识别所有形状。
必须为数字建立允许异变的模型：首先进行特征提取，然后再看这些特征的排列。