具有重载/阶梯函数的神经网络学习算法

Question

对于前馈神经网络的训练算法是否有任何实现（或直接描述），它不使用 sigmoid 或线性 squash 函数，而是使用不可微分的函数，例如 heaviside 函数？

我已经找到了paper on such an algorithm，但没有相应的实现，我觉得很困惑，在我看来，应该有什么东西出来了。

有什么提示吗？

Answer 1

反向传播不适用于重边函数，因为它的导数在所有域中都为零，除了点零，它是无限的。也就是说，heavyside 函数的导数是Dirac delta。

这样做的结果是除了零之外的任何值都没有变化，并且无法取得进展。在零点处，导数是无限的，因此该步也是不可管理的。

你可以在网上找到implementation for this function in Java，但我仍然认为使用它不是一个好主意。如果您增加 sigmoid 函数中的 gama 功率，它会成为重边函数的一个非常好的近似值，并具有额外的可微性优势。

检查this paper，看看它是否有任何可能对您有帮助的信息。