逻辑回归
目的：经典的二分类算法
机器学习算法选择：先逻辑回归再用复杂的，越简单越好。
逻辑回归的决策边界：可以是非线性的。
Sigmoid函数
公式：
逻辑回归所需要的Sigmoid函数，用来对预测值进行分类。自变量取值为任意实数，值域[0,1]
解释：将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中，这样就完成了从值到概率的转换，也就是分类任务。Sigmoid函数是逻辑回归的重点。
预测函数：从输入中计算预测值的函数
可以看到，预测函数直接将输入值作为Sigmoid函数的参数，得出的结果直接转换到[0,1]区间上。
对于二分类任务：
正例与反例的概率如上图所示，通过y取值0或1将上式概率整合为下式：
思考：我们要求的是θ这个参数，所以需要使用似然函数。式子如下：
m是样本数，将似然函数求对数，式子如下：
连乘转换为连加，计算更简便。
思考：似然函数求解的是极大值，应用的是梯度上升来求取。而我们通常的求解套路是求解极小值，应用梯度下降求解，那么如何将求解极大值转换为求解极小值呢？例如，要求一个正的极大值，就相当于求一个负的极小值。因此，可以为上式引入一个负数。m是为了求取均值。
转换为求解极小值后，就转换为了梯度下降的求解问题，一步步寻找下降方向。那么，就对θ进行求偏导，注意，这里的θ是有多少个θ就求多少次。
注意
指的是第i个样本的第j个特征
求出来梯度下降的方向后，就可以根据步长对参数θ进行更新了：
上式的后部分式子为步长乘以梯度方向，这是参数θ更新的部分。找到了参数的更新方法后，就可以用梯度下降的方法来寻找我们的极小值。