机器学习（二）：logistic回归

基础知识：

logistic回归其实是一个分类问题，可以定义如下：c为2时是一个两类分类问题.

当分布为伯努利分布时：

  

logistic回归和线性回归类似，不同的条件概率是不同的，方程如下：

其中：sigmoid函数定义如下：

使用logistic回归的物理意义是：当存在如情况时，神经元发送脉冲，即可进行分类任务的判断。由于该临界值为，所以又可以称为临界面，所以Logistic回归是一个线性分类器。

极大似然估计：

求解负log似然函数：由于添加log函数，没有改变原函数的线性关系，所以极大似然估计是等价于最小logistic损失的

梯度求解：

对上述目标函数做梯度求解：

最终化简结果：

                           

其中：

求解二阶矩阵：

softmax分类器：

在多分类任务中，有两种解决方式，一种是将多分类任务看做多个二分类任务进行求解，如图所示：

另外一种解决办法是使用softmax分类器，softmax分类即将原多分类问题看做一个掷筛子的问题，其中使用了softmax函数：

softmax可看做logistic回归的特殊情况，其求解和优化过程与logistic回归类似。

应用：

logistic回归在scikit learn中的实现：

LogisticRegression(penalty='l2', dual=False, tol=0.01, C=1.0,
                    fit_intercept=True, intercept_scaling=1, class_weight=None,
                    random_state=None, sovler='liblinear', max_iter=100,
                    multi_class='ovr', verbose=0, warm_start=False, n_jobs=1)

各参数意义如下：

优化求解选择：