学习笔记4-线形二分类问题

1. 问题描述

如图：

设由训练集$D=\left( x_{1}^{\left( i \right)},x_{2}^{\left( i \right)},...,x_{n}^{\left( i \right)} \right) ,i=1,2,...,m$D=(x1(i)​,x2(i)​,...,xn(i)​),i=1,2,...,m所组成的两类数据，现如今需要求得一直线(平面或超平面)
$XW^T + b =0$XWT+b=0
上式中，$X=\left[ x_0,x_1,x_2,...,x_n \right]$X=[x0​,x1​,x2​,...,xn​]，$W=\left[ w_1,w_2,...,w_n \right]$W=[w1​,w2​,...,wn​]，来区分两类数据，并且满足训练集到超平面的距离是最小的。

2.推导

2.1分类别

对于第一个要求，把两类数据分开。设实心类为A，空心类为B。
对于数据本身，若满足：
$XW^T + b <0$XWT+b<0
则可以判定其为B类，反之为A类。

2.2数据集到直线(超平面)的距离最小

设总的数据集到区分面的距离为$D$D，数据集$i$i到区分面距离为$d^{\left( i \right)}$d(i).
则有：
$d^{\left( i \right)}=\frac{X^{\left( i \right)}W^T}{\sqrt{||W||}}$d(i)=∣∣W∣∣​X(i)WT​

$||W||$∣∣W∣∣是$W$W向量的二范数，其具体数值为：$||W||=WW^T$∣∣W∣∣=WWT。
由此得到：
$D=\sum_{i=1}^m{\frac{X^{\left( i \right)}W^T}{\sqrt{||W||}}}$D=i=1∑m​∣∣W∣∣​X(i)WT​
同时，D也是损失函数。

3.代码实现