对数损失函数与最大似然损失函数

1，最大似然损失函数（Likelihood loss）

常用在分类问题上。形式上是把每一个预测值的概率相乘，得到一个损失值。
例如：对一组样本的预测为True(1)概率为[0.4, 0.6, 0.9, 0.1]，它们的真实值分别为[0, 1, 1, 0]，则损失值为$0.6*0.6*0.9*0.9=0.2916$0.6∗0.6∗0.9∗0.9=0.2916，对于真实值为False(0)的情况，要用（1-p）。

2，对数损失函数（Log loss）

也叫Cross Entropy Loss。与最大似然一样在分类问题中用的较多。形式为
$-y*log(p)-(1-y)*log(1-p)$−y∗log(p)−(1−y)∗log(1−p),
对于二分类问题，y取值为0或1，p为预测结果为y的概率，log为自然对数。
此函数对误差大的结果惩罚很大，预测准确度与log loss的关系图如下：

Reference

https://blog.algorithmia.com/introduction-to-loss-functions/
http://neuralnetworksanddeeplearning.com/chap3.html