逻辑回归模型
多类别分类
正则化
1 逻辑回归模型
1）逻辑回归的假设函数：
利用Logistic函数，使输出范围控制在【0，1】之间
2）决策边界由logistic函数的图像可以看出 当y=1时：
也就是说：
这样，就会形成一个判断输出为0还是1的边界（X为变量，与参数theta有关），称为决策边界。
3）代价函数
简化：
（在使用梯度下降时，用这个函数确认每一次迭代J(theta)都是减少的）
向量化：4）梯度下降
通用式：
求导后：
向量化：
例如："Conjugate gradient"、 "BFGS"、 "L-BFGS"
原理很难，但可以利用一些已经实现的库函数
自己写相应代价函数：
调用库函数
2 多类别分类
一对多方法：
然后将测试值代入每一个函数，拥有最大值的即为所属类）
3 正则化——克服过度拟合
过拟合就是模型过度的拟合了训练样本，形成的分界线一味迎合训练样本，使测试样本准确率降低。过度拟合解决办法：减少特征量 和 正则化
假设函数过度拟合后，我们可以通过修改成本函数进行相应参数权重的弱化
代价函数正则化：
梯度下降法 求参数时：
正规方程法 求参数theta时：
2）正则化逻辑回归
——————————————————————————————————————————
Logistic Regression测试解答http://blog.csdn.net/huazhenrea/article/details/52567041