sigmod交叉熵
Softmax转换
Softmax交叉熵
参考资料
|
sigmod交叉熵 |
Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。
假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为
PS：这个是可以用极大似然估计推导出来的
举例：
y=0，_y=0.8，那此时的sigmod交叉熵为1.171
import numpy as np
def sigmod(x):
return 1/(1+np.exp(-x))
y=0
_y=0.8
-y*np.log(sigmod(_y))-(1-y)*np.log(1-sigmod(_y))
#_y-_y*y+np.log(1+np.exp(-_y))