机器学习基石 - Learning to Answer Yes/No

机器学习基石上 (Machine Learning Foundations)—Mathematical Foundations
Hsuan-Tien Lin, 林轩田，副教授 (Associate Professor)，资讯工程学系 (Computer Science and Information Engineering)

Learning to Answer Yes/No

A $\mathcal{A}$ takes D $\mathcal{D}$ and H $\mathcal{H}$ to get g $g$

Perceptron(感知器) Hypothesis Set

• 综合各个参数来得出一个分数

• x=(x 1 ,x 2 ,⋯,x d ) $\mathbf{\text{x}}=(x_1,x_2,\cdots ,x_d)$ —— features of customer

• 各个参数（维度）乘上相应的权重再相加
  
  • approve credit if ∑ d i=1 w i x i >threshold $\sum _{i=1}^d{w}_i{x}_i>threshold$
  • deny credit if ∑ d i=1 w i x i <threshold $\sum _{i=1}^d{w}_i{x}_i<threshold$

• Y:{+1(good),−1(bad)} $\mathcal{Y}:\{+1(good),-1(bad)\}$，(0 - ignored)

• linear formula h∈H $h\in \mathcal{H}$ is h(x)=sign((∑ d i=1 w i x i )−threshold) $h(\mathbf{x})=sign((\sum _{i=1}^d{w}_i{x}_i)-threshold)$

  • 简化一些：令 w 0 =−threshold,x 0 =1 $w_0=-threshold,x_0=1$
  • h(x)=sign(∑ d i=0 w i x i )=sign(w T x) $h(\mathbf{x})=sign(\sum _{i=0}^d{w}_i{x}_i)=sign({\mathbf{w}}^T\mathbf{x})$ (向量内积)
  • each w $\mathbf{w}$ represents a hypothesis h $h$，不同的参数对应不同的函数
• Perceptron in R 2  ${\mathbb{R}}^2$
  
  • 二维感受器
    
  • 不同的分类（参数）有不同的效果
  • 令 h=0 $h=0$，得到的几何图形是一条线，线性分类器

Perceptron Learning Algorithm (PLA)

• H $\mathcal{H}$ includes all possible perceptrons (infinite), how to select g $g$ ?

• want、necessary、difficult、idea
  

  • what we want: g≈f $g\approx f$ (hard when f $f$ is unknown)
  • 可行的是在已知的数据里，理想情况下使得 g(x n )=f(x n )=y n  $g({\mathbf{x}}_n)=f({\mathbf{x}}_n)=y_n$
  • 先有一条线 g 0  $g_0$，再慢慢改进修正参数 w 0  ${\mathbf{w}}_0$

• 步骤
  

  • 向量内积的正负可以通过夹角判断
  • 修正向量，改变夹角
  • A fault confessed is half redressed. (知错能改善莫大焉)

• Cyclic PLA

  • a full cycle of not encountering mistakes
  • ‘correct’ mistakes on D $\mathcal{D}$ until no mistakes
  • find the next mistake: follow naive cycle or precomputed random cycle

• 存在的问题

  • 循环一定会中止吗
  • 得到的 g $g$ 和所设想的 f $f$ 究竟接近吗
  • 数据之外的表现如何

• 思考题
  注意第二个选项

Guarantee of PLA

• if PLA halts (no more mistakes)

  • (necessary condition) D $\mathcal{D}$ allows some w $\mathbf{w}$ to make no mistake
  • call such D $\mathcal{D}$ linear separable (线性可分)

• linear separable D $\mathcal{D}$ ⇔ exists perfect w f  ${\mathbf{w}}_f$ such that y n =sign(w T f x n ) $y_n=sign({\mathbf{w}}_f^T{\mathbf{x}}_n)$

  • 证明1
    
  • 向量内积的操作是通过矩阵乘法实现的
  • w t  ${\mathbf{w}}_t$ gets more aligned with w f  ${\mathbf{w}}_f$ (因为内积变大)

• 已知式
  

  • 证明2
    
  • w t  ${\mathbf{w}}_t$ does not grow too fast (长度增量有上界)
  • w t  ${\mathbf{w}}_t$ 和 w f  ${\mathbf{w}}_f$ 的夹角会越来越小，存在下界 0 度
• 思考题
  

Non-Separable Data

• linear separable: inner product of w f  ${\mathbf{w}}_f$ and w t  ${\mathbf{w}}_t$ grows fast (二者越来越接近)

• correct by mistake: length of w t  ${\mathbf{w}}_t$ grows slowly (缓慢增长)

• PLA ‘lines’ are more and more aligned with w f  ${\mathbf{w}}_f$ ⇒ halts

• Pros: simple to implement, fast, works in any dimension

• Cons
  
  • ‘assumes’ linear separable D $\mathcal{D}$ to halt (只是假设线性可分)
  • not fully sure how long halting takes (何时停止不知道)

Learning with Noisy Data

• 找一条犯错误最少的线
  
  • 公式
    
  • 括号代表boolean运算
  • argmin f(x) 是指使得函数 f(x) 取得其最小值的所有自变量 x 的集合
  • NP-hard to solve
• Pocket Algorithm
  
  • modify PLA algorithm (black lines) by keeping best weights in pocket (总是取当前情况下最好的)
  • 算法
    
  • a simple modification of PLA to find(somewhat) ‘best’ weights
• 在线性可分的数据集上使用 Pocket 也能找到最优解，但会比 PLA 慢