“chainer.functions.sigmoid_cross_entropy”是二阶可微函数吗？答案

【问题标题】：Is "chainer.functions.sigmoid_cross_entropy" a second-order differentiable function?“chainer.functions.sigmoid_cross_entropy”是二阶可微函数吗？
【发布时间】：2020-01-05 09:04:25
【问题描述】：

我是一名学习机器学习的学生。对于我的研究，我们需要通过二阶来区分损失函数，我们使用“chainer.functions.sigmoid_cross_entropy”。一个类似的函数是“chainer.functions.softmax_cross_entropy”。这个函数有一个参数“, enable_double_backprop”来实现二阶导数，但在“chainer.functions.sigmoid_cross_entropy”中没有。

“chainer.functions.sigmoid_cross_entropy”是二阶可微函数吗？

请教我！

chainer.functions.sigmoid_cross_entropy (x, t, normalize = True, reduce = 'mean')

chainer.functions.softmax_cross_entropy (x, t, normalize = True, cache_score = True, 
class_weight = None, ignore_label = -1, reduce = 'mean', enable_double_backprop = False, 
soft_target_loss = 'cross-entropy')

【问题讨论】：

标签： machine-learning loss chainer

【解决方案1】：

是的，sigmoid_cross_entropy 是二阶可微的。出于性能原因，softmax_cross_entropy 不是二阶可微的，除非给出了enable_double_backprop=True。

不支持高阶导数的函数列在https://github.com/chainer/chainer/issues/4449。

【讨论】：