1.逻辑回归（Logistic Regression）又常被成为“逻辑斯蒂回归”，实质上是一个二元分类问题。
逻辑回归代价函数：
代价函数导数：
Matlab实现：
采用matlab中自带的无约束最小化函数fminunc来代替梯度下降法（避免学习率的选择）。
fminunc高级函数的使用参考：http://blog.csdn.net/gzp444280620/article/details/49272977
自定义函数与fminunc函数之间的调用关系：
对于二维线性或者非线性问题，我们可以通过画出决策边界来可视化数据集，从而更直观判断模型的准确度。
对于可以用简单线性划分的数据集，不需要进行模型复杂度和正则化处理，应用起来往往很简单。
2.非线性决策边界问题：
对于边界复杂问题，简单的线性边界划分无法实现，需要增加特征变量的阶数来实现非线性划分。这样就会导致模型的复杂度增加，如何权衡模型的准确度和复杂度？——正则化处理。
1）非线性模型复杂度的选择：下面的代码只针对二维特征变量，单一特征变量的最高阶数可以自行试凑。
2）正则化参数的选择：
过小：对模型复杂度惩罚不够，过拟合
过大：模型太过简单，训练准确率下降，欠拟合
正则化处理后的代价函数：
代价函数导数：
正则化代码：
PS: 应用逻辑回归模型也可以进行多类分类，处理方法是多次重复进行二分类，每次选择一个正向类，其余各类都视作负向类。
个人笔记：http://www.cnblogs.com/always-chang/p/5935655.html
源码分析：http://pan.baidu.com/s/1nu7rwVZ 密码：2ra2