模式识别绪论
转载请标明出处：
https://seektech.github.io/2018011101_模式识别绪论 Miao LI (seektech)
模式识别课程(中国科学院模式识别国家重点实验室)期末复习
一、重要概念
1. 机器学习与模式识别
模式识别—>主要针对感知数据，针对应用
机器学习—>主要研究理论算法，大部分针对分类
数据挖掘—>主要针对非感知和混合数据
2. 参数模型与非参数模型
这里的‘’参数‘’是指数据分布的参数.
二者的主要区别是关于数据分布的假设，参数模型对数据分布有假设，概率密度函数形式已知，具体参数未知；而非参数模型对数据分布假设自由，不知道关于数据分布的概率密度形式和结构
二、模式识别方法分类
1. 按模式表示方式分类
-
Statistical统计方法:
-Parametric(Gaussian)
-Non-parametric(Parzen Window, K-NN)
-Semi-parametric(GM)
-Neural network
-Logistic regression
-Decision tree
-Kernal(SVM)
-Ensemble(Boosting)
-
Structural结构方法:
-Syntactic parsing
-String matching, tree
-Graph matching
-Hidden Markov Model
-Markov Random Field
-Structured prediction
-
Hybrid Statistical-Structural:
-Statistical primitive/relationship
-
统计方法与结构方法对比
Statistical统计方法训练容易，需要大量数据训练，大量样本训练时性能优异，解释性差，与人类认知相关性低；
Structural结构方法训练较难，小样本情况下性能良好，大样本训练困难，优势难以凸显，结构解释，对outlier鲁棒与人类认知相关性高；
2. 学习方法分类
- Supervised Learning：训练样本有类别标号
- Unsupervised Learning：训练样本无类别标号，得到数据的结构表示或分布
- Semi-supervised Learining：训练样本部分有类别标号
- Reinforcement Learning：学习过程中给出奖惩信号
- Domain Adaptation：测试的样本分布发生变化，分类器参数自适应
3. 生成模型与判别模型
生成模型—>表示各个类别的内部结构或特征分布
判别模型—>表示不同类别之间的区别，一般为判别函数，边界函数或后验概率
生成学习—>得到每个类别的结构描述或分布函数，不同类别分别学习
判别学习—>得到判别函数或边界函数的参数，所有类别样本同时学习
三、课程体系
1. 模式识别绪论
2. 贝叶斯决策理论
3. 概率密度参数估计
4. 非参数法
5. 线性判别函数
6. 神经网络与深度学习
7. 模型选择
8. 聚类分析
9. SVM与核方法
10. 决策树
11. 特征提取与选择
12. 模式识别前沿趋势
附上一张机器学习算法思维导图
参考文献
https://machinelearningmastery.com/parametric-and-nonparametric-machine-learning-algorithms/