机器学习笔记——逻辑回归

决策函数：sigmoid

损失函数：cross-entropy

为什么不用平方误差做损失函数？

因为我们希望接近最优解的地方梯度小，而远离最优解的地方梯度大。从下图可以看出来，平方误差不满足我们的要求。平方误差在这里不好用是因为sigmoid的导数有一个f项，线性回归使用平方误差就没有这个问题。

逻辑回归的缺点：对数据严格线性不可分的情况无能为力。

解决办法：特征转换，使得转换后的数据线性可分。转换规则一般不好设定，有一种方法是级联逻辑回归模型，或者用核方法。