感知机算法

利用带有0-1门限的神经元进行学习。

形式化如下：

感知机输入X={x1,x2,...,xn}$X=\{x_1,x_2,...,x_n\}$
感知机权值W={w1,w2,...,wn}$W=\{w_1,w_2,...,w_n\}$
偏置$b=1

令y(X)=WXT+b$y(X)=W{X}^T+b$
感知机输出

z(X)={1,  if y(X)≥00,  if y(X)<0$$z(X)=\{\begin{array}{l}1,ify(X)\ge 0\\ 0,ify(X)<0\end{array}$$

学习过程：
初始化感知机权重W$W$，有一个线性可分的训练集T={X1,X2,...,Xm}$T=\{X_1,X_2,...,X_m\}$及标签集Y={y1,y2,...,ym}$Y=\{y_1,y_2,...,y_m\}$，每次喂入一个样本Xi$X_i$，若yi=z(Xi)$y_i=z(X_i)$，则不修正权重；若yi=1且z(Xi)=0$y_i=1且z(X_i)=0$，则更新W$W$:=W+Xi$W+X_i$；若yi=0且z(Xi)=1$y_i=0且z(X_i)=1$，则更新W$W$:=W−Xi$W-X_i$。直到迭代完T$T$。

From geometry perspective，在权重空间（Weight space）内，把所有的权重W$W$和训练集T$T$中的样本Xi$X_i$视作一些从原点出发的向量(或者点)，则对于任意给定的向量Xi$X_i$，存在一个过原点的超平面把空间分成两部分，其中一个子空间内的W$W$都能把Xi$X_i$预测为0，另一个子空间内的W$W$都能把Xi$X_i$预测为1。根据的yi$y_i$可以分别命名为当前样本的“好的权重向量子空间”和“坏的权重向量子空间”。

算法的所做的就是，若当前权重W$W$位于当前样本的“好的权重向量子空间”时不需要进行更新，否则旋转W$W$使得更接近分界超平面。于是的到了一个凸优化问题。

(图来自Hinton)