Learning to Answer Yes/No
回顾: 有一个A,看D和H set,从H set里面选一个g,当成学到的技能(要不要给顾客发信用卡这样一个公式),今天讲机器怎么解决要不要发信用卡的问题,或者说,怎么去解决是非题.
Perceptron Hypothesis Set
-介绍一个具体的H的长像. perceptron(感知器),把问题数学化,就可以用一个公式来表示了.
- 可以看一看 h具体长什么样子,h对应到平面上的一条线.
- 上面的是在二维空间里的
Perceptron Learning Algorithm (PLA)
- 知道了h的长像,如何从这么多h里面选择一条最好的出来?
- 不知道f,希望在看过的资料里面一样.
- 拿一条线在手上,犯错误后,修正一下.
- 初始的w可以全是0
- 如果线不完美,可以找到一条线犯了错误(这时候看作是在3维空间上)
- 修正的公式如上
- 更新到不再犯错为止
- 会不会停下来.g和f一不一样?
Guarantee of PLA
- 如果线性可分,PLA会停下来吗
- 到这里只证明了,可以越来越接近(product变大了)
- - 这里没有具体证明,李航的书上有明确的证明.
Non-Separable Data
- PLA好处是很快
- 坏处是,需要假设资料线性可分的,就算是线性可分的,也不知道什么时候会停.
- 机器学习的设定并不是说,资料一定很完整的从f中产生出来的.产生资料,收集资料的过程中可能有一些杂讯.
- - 首先,杂讯应该是很少的,如果杂讯很多的话,就没有学习的必要了.
- 找一条犯错误最少的线.
- 这个问题被证明是NP hard
- 找一条差不多的线.
- 用随机找错误的方法.
介绍了线性解是非题的办法. PLA只在线性可分的时候有用.不是线性可分pocket也可以做的很好.
下一次课机器学习不只可以做是否题,可以做其它的问题,和其它资料的形式.