写在前面
本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。
本章框架
根据训练数据的线性可分、近似线性可分、线性不可分这三个程度，SVM由简单到复杂地呈现为线性可分SVM、线性SVM以及非线性SVM三种。本章先分别介绍这三种SVM，再介绍了学习算法（序列最小最优化算法）。
线性可分SVM与硬间隔最大化
| 名称 | 公式 | 描述 |
|
逻辑斯谛回分布 |
||
| 逻辑斯谛回归模型 |
二项逻辑斯谛回归： 多项逻辑斯谛回归： |
是参数化的逻辑斯谛分布 |
几率：该事件发生的概率与不发生概率的比值
对数几率：几率求对数
线性SVM与软间隔最大化
最大熵原理➡️最大熵模型➡️最大熵模型的学习
非线性SVM与核函数
逻辑斯谛回归模型和最大熵模型都归结为以似然函数为目标函数的最优化问题，迭代求解方法：
序列最小最优化算法（SMO）
补充知识点
欧氏空间与希尔伯特空间
参考博客
凸函数与凸优化
- 凸函数的定义如下：
这个定义和我们传统的凹凸定义是相反的。
- 凸优化
凸优化是指以下约束最优化：