感知机模型

模型:
其数据集是线性可分的
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
策略:
策略就是求误分类点到我找到的分离平面的距离(量化)
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
算法:
第一种方法:随机梯度下降法
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
对偶形式的算法:
对哦算法更新的内容少了
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明

算法收敛性

感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
给定一个约束,使得参数的二范数是1.
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
第一个公式证明,只要另r等于前面那个最小的就行。
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
第二个公式的证明:
k是误分类点修正的次数,它是有上界的。
分成两小步来证明:
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
第二小步证明二范数:(也就是这个向量的长度)

首先,向量和的二范数拆解
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
中间因为yi是未分类点,所以进行放缩,而且R是xi的最大值,也可以进行放缩
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
下一步是柯西不等式,因为之前约束了opt的二范数是1
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明
所以结合刚才求出来的两个不等式,说明误分类的次数是收敛的,所以进行优先布置后,训练激荡中所有势力都可以进行正确分类。
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明

随机梯度下降法

会选择一个误分类点来更新参数,而不是梯度下降的所有的数据点。
因为你跟新第一个数据点的时候,可能其中某一个数据点已经是正确分类了,你就不需要再进行计算梯度,然后求和了。
感知机模型基本概念(随机梯度下降法)及其算法收敛性的证明

相关文章: