损失函数梯度

均方误差函数梯度

均方误差表达式:
(24)tensorflow进阶--损失函数梯度

梯度导数:
(24)tensorflow进阶--损失函数梯度

交叉熵函数梯度

Softmax 梯度

回顾 Softmax 函数的表达式:
(24)tensorflow进阶--损失函数梯度

Softmax 梯度为:
(24)tensorflow进阶--损失函数梯度

交叉熵梯度

考虑交叉熵损失函数的表达式:
(24)tensorflow进阶--损失函数梯度
(24)tensorflow进阶--损失函数梯度
将log分解:
(24)tensorflow进阶--损失函数梯度
最终简化求出:
(24)tensorflow进阶--损失函数梯度

相关文章: