softmax 、softmaxt loss、cross-entropy

softmax

把输入的x值进行e(e的x次方)操作，使大的更大小的更小，然后再对输入值求概率，则大的概率也大，小大概率也小，具体操作入下图

softmax计算公式如下：

$S_i = \dfrac{e^i}{\sum_j{e^j}}$Si​=∑j​ejei​

softmax loss

softmax loss就是经过softmax**之后计算的loss值，公式如下
$loss = \sum{y^ilogS_i}$loss=∑yilogSi​
其中yi为0或1（若是这个类则为1，不是则为0）
log是以e为低的对数

cross-entropy

cross-entropy同softmax loss

tensorflow计算示例