4.1 线性判据的基本概念
生成模型：给定训练样本{Xn}，直接在输入空间内学习其概率密度函数p(x)。
生成模型的优劣势：
判别模型：给定训练样本{Xn}，直接在输入空间内估计后验概率p(Ci|x);
判别模型的优势：
线性判据：如果判别模型f(x)是线性函数，则f(x)为线性判据。
线性判据的数学模型：w垂直于决策边界上的任何向量。w0决定了决策边界的偏移量，使其能够满足两个类输出值分别为正负。
决策边界：
任意样本x到决策边界的垂直距离为：该距离的绝对值越大，说明这个点属于正类或者负类的程度越大。
4.2 线性判据的学习概述
监督式学习过程：基于训练样本{x2,x2…,xn}及其标签{t1,t2,…,tn}，设计目标函数，学习w和w0。
当线性判据参数有多个可能的解时，学习算法就是要找到一个最优解。设计目标函数，极大化或极小化目标函数从而得到最优解。
4.3 并行感知机算法
感知机算法的预处理：
目标函数：针对所有被错误分类的训练样本，其输出取反求和：
目标函数求极值，由于偏导不含a，所以使用梯度下降法迭代更新参数。
并行感知机的算法流程：
4.4 串行感知机算法
串行感知机的算法流程：
感知机算法的收敛性：如果训练样本是线性可分的，感知机算法理论上收敛于一个解。
当样本位于决策边界边缘时，对该样本的决策有很大的不确定性。为了解决这一问题，加入了Margin约束：
4.5 Fisher线性判据
Fisher判据的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影的重叠部分最少，从而使分类效果达到最佳。
目标函数：
优化后的目标函数的新表达：
目标函数的求解：
w与w0的解：
Fisher线性判据：
Fisher判据训练过程：
4.6 支持向量机
设计思想：给定一组训练样本，使得两个类中与决策边界最近的训练样本到决策边界之间的间隔最大。
支持向量：
目标函数（最大化间隔）：条件优化问题，不能使用我们已学过的方法求解。
4.7 拉格朗日乘数法
拉格朗日乘数法：拉格朗日乘数法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。
拉格朗日函数：
KKT条件：
4.8 拉格朗日对偶问题
Lagrange对偶函数：
定义拉格朗日对偶函数或者对偶函数g为拉格朗日函数关于x取得的最小值，即对α，β，有：
对于任意一组(α，β)，其中α≥0，拉格朗日对偶函数给出了原问题的最优值的一个下界，因此，我们可以得到和参数α，β相关的一个下界。一个自然问题是：从Lagrange函数能得到的最好下界是什么？可以将这个问题表述为优化问题：
弱对偶性：
强对偶性：
KKT条件：
假设x是原始问题的最优解，α和β*是对偶问题的最优解。如果强对偶成立，那么原问题最优解和对偶问题最优解必须满足KKT条件，属于充分必要条件
4.9 支持向量机学习算法
目标函数：
拉格朗日函数：
对偶函数：
求解支持向量：
参数的最优解：
支持向量机的决策过程：