6.logistic regression

logistic regression

若两个分布一样的话呢，cross entropy则为0

如果Y=1 F（xn）也为1，则为0

如果Y=1 F（xn）接近0， 则cross entropy就很大。所以说最理想的情况，也就是cross entropy最小的情况，为0. cross entropy的值越小，就说明越好。

这个推导没毛病

差别在于一个y只在0或1  而linear regression可以是任何值

离目标还很远，但这个时候，微分竟然也是0，这就不对了

用square error的话，离目标很远的时候，微分也很小，所以不太好。用CROSS ENTROPY可以顺很多。

                                                                                               logistic regression= discriminative

注意这是用概率生成的方法，所以每一类都有单独的两个参数。

级联逻辑回归模型：feature transformation 可以看做是用另外两个LR做出来的，具体例子如下：

也就是说逻辑回归可以完成特征转换feature transformation，原本不可分的，让他们可分了。

上图中，只要告诉其 input 和 output， 则所有的参数都可以根据gradient descent求出来