2 感知机

文章目录

• 2.1感知机模型
• 2.2感知机学习策路
• 2.2.1数据集的线性可分性
• 2.2.2感知机学习策略
• 2.3感知机学习算法
• 2.3.1 感知机学习算法的原始形式
• 2.3.2算法收敛性

• 二类分类的线性分类模型,
  • 输出+1和-1.
  • 属判別模型
• 感知机学习旨在求出将训练数据进行线性划分的分离超平面,
  • 为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型.
• 感知机学习算法简单易实现,分原始形式和对偶形式
• 感知机预测是用学习得到的感知机模型对新的输入实例分类
• 57年由 Rosenblatt提出,
  • 是神经网络与支持向量机的基础

 

• 本章先介绍感知机模型;
• 然后感知机的学习策略,特别是损失函数
• 最后感知机学习算法,
  • 包括原始形式和对偶形式,并证明算法的收敛性.

2.1感知机模型

• 定义2.1(感知机)

$f(x)=sign(w\cdot x+b)\tag{2.1}$f(x)=sign(w⋅x+b)(2.1)

 

• 是线性分类模型
• 感知机模型的
  • 假设空间是定义在特征空间中的所有线性分类模型
  • 即函数集合

 

• 感知机几何解释:

$w\cdot x+b=0$w⋅x+b=0

• 对应特征空间$R^n$Rn中的一个超平面$S$S,
• 法向量,截距.
• 这个超平面将特征空间划分两部分.
  • 位于两部分的点(特征向量)分别被分为正、负两类.
  • 超平面S称为分离超平面
• 如图2.1

 

• 感知机学习
• 感知机预测

2.2感知机学习策路

2.2.1数据集的线性可分性

2.2.2感知机学习策略

• 设线性可分
• 即确定$w$w,$b$b,
  • 需确定一个学习策略
  • 即定义(经验)损失函数并将损失函数极小化

 

• 损失函数的另一个选择是误分类点到超平面$S$S的总距离,
  • 这是感知机所采用的.
• 输入空间中任一点到超平面$S$S的距离:

 

• 对于误分类的数据$(x_i,y_i)$(xi​,yi​)

• 因此,误分类点$x_i$xi​到超平面S的距离是

 

• 误分类集合M
• 那么所有误分类点到超平面$S$S的总距离为

• 不考虑$\frac{1}{||w||}$∣∣w∣∣1​,就得到感知机学习的损失函数

 

• 感知机学习的
• 损失函数定义为

• 这个损失函数就是感知机学习的经验风险函数.

 

• 损失函数非负.
• 如果没有误分类点,损失函数值是0.
• 且,误分类点越少,误分类点离超平面越近,损失函数值就越小,
• 一个特定的样本点的损失函数:
  • 在误分类时是参数w,b的线性函数,
  • 在正确分类时是0.
  • 因此,给定训练数据集,损失函数是w,b的连续可导

 

• 感知机学习
  • 在假设空间中选取使损失函数式(2.4)最小的模型参数
    W,b,

2.3感知机学习算法

• 感知机学习问题转化为求解损失函数式(2.4)的最优化问题,
• 最优化的方法是随机梯度下降法.
• 本节叙述感知机学习的具体算法,
  • 原始形式和对偶形式,
  • 并证线性可分条件下感知机学习算法的收敛性

2.3.1 感知机学习算法的原始形式

• 感知机学习算法是误分类驱动的,用随机梯度下降法.
• 首先,任取$w_0,b_0$w0​,b0​,然后用梯度下降法不断地极小化(2.5)
• 极小化过程中不是一次使M中所有误分类点的梯度下降
  • 而是一次随机选取一个误分类点使其梯度下降

 

• 设误分类点集合$M$M固定,那么损失函数的梯度由

 

• 随机选取一个误分类点$(x_i,y_i)$(xi​,yi​),对$w,b$w,b更新:

• $0<\eta \le 1$0<η≤1是步长,又称学习率.
• 这样,通过迭代可期待损失函数不断减小,直到为0.
• 综上所述,得如下算法

 

• 算法2.1(感知机学习算法的原始形式
• (1)选初值w,b
• (2)在训练集中选取数据$(x_i,y_i)$(xi​,yi​)
• (3)如果$y_i(w\cdot x_i+b)\le 0$yi​(w⋅xi​+b)≤0

• (4)转至(2),直至训练集中没有误分类点

 

• 当一个实例点位于超平面错误一侧时,
  • 则调整w,b,
  • 使分离超平面向该误分类点的一侧移动,
  • 以减少该误分类点与超平面间的距离,
  • 直至超平面越过该误分类点使其被正确分类.

 

• 算法2,1是感知机学习的基本算法,对应于后面的对偶形式,
  • 称为原始形式

 

• 例2.1
• 正$x_1=(3,3)^T,x_2=(4,3)^T$x1​=(3,3)T,x2​=(4,3)T
• 负$x_3=(1,1)^T$x3​=(1,1)T
• $f(x)=sign(w\cdot x+b)$f(x)=sign(w⋅x+b)
• $w=(w^{(1)},w^{(2)})^T$w=(w(1),w(2))T
• $x=(x^{(1)},x^{(2)})^T$x=(x(1),x(2))T

 

 

• 采用不同的初值或选取不同的误分类点,
  • 解可以不同.

2.3.2算法收敛性