关键字
最小二乘法，满秩矩阵，正定矩阵，极大似然法，牛顿法
基本形式
线性回归
逻辑回归
线性判别分析
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习方法，LDA的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同样样例的投影点尽可能地接近、异类样例的投影点尽可能的远；在对新样例进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。
多分类学习
考虑N个类别C1,C2,…,Cn,多分类器的基本思路是拆解法，即多个多分类器拆分为若干个二分类器任务求解。最经典的拆分策略有三种：“一对一”（One vs One,简称OvO）、“一对其余”（One vs Rest，简称OvR）和“多对多”（Many vs Many，简称MvM）。