Logistic regression
上一节课我们发现，通过概率来生成的模型可以通过函数的变换而变成：
这样的形式，这种形式仅仅有两个变量，即w和b，那么我们是不是可以不管概率论上的那一系列推导，而仅仅利用这个简单的公式来求得模型呢？
答案是肯定的。
这种方式叫做 Discriminative
我们要使得这个概率最大最好，但是因为这个是连续的乘法，不容易求导，所以做一系列的变化：
这两个是等价的。
现在需要求上式的最小值。
现在我们需要寻找极值，通过求导和一系列计算：
通过这个式子来进行梯度下降更新。
下图解释了为什么Loss函数不是选择方差和，而是选择乘积的最大值：
再对比一下通过几率推导出来的模型和直接用这个模型对比一下（generative vs logistic）
发现：当数据较少时，用几率生成的模型效果较好
但是当数据较多时，用logistic生成的较好。
当要分多个类的情况下：（用3类来做例子）
但其实很多时候单纯用logistic regression是无法分出来的
可以做一些feature transformation(特征的转化)
上图。使用前两个logistic regression的函数来做特征值的转化，用最后一个logistic regression来分类。
当多个logistic regression连接在一起的时候，我们给他取了个好听的名字，叫做：神经网络