我应该使用什么激活函数来强制执行舍入行为

Question

我需要一个对我的张量进行四舍五入的激活函数。

函数 round() 的导数（梯度）为 0（或在 tensorflow 中为 None），这使得它无法用作激活函数。

我正在寻找一个强制类似舍入行为的函数，以便我的模型的结果不只是近似一个数字。 （因为我的标签是整数）

我知道公式：tanh ○ sigmoid 用于强制 {-1, 0, 1} 数字仅流经模型，所以是否有一些可导出的函数组合来模拟舍入行为？

Answer 1

如果您想在实线上进行近似圆形，您可以执行以下操作：

def approx_round(x, steepness=1):
    floor_part = tf.floor(x)
    remainder = tf.mod(x, 1)
    return floor_part + tf.sigmoid(steepness*(remainder - 0.5))

事实上，有一些方法可以在 Tensorflow 中注册您自己的渐变（例如，参见 this question）。但是，我对实现这部分不太熟悉，因为我不经常使用 Keras/TensorFlow。

就一个函数而言，它会给你这个近似值的梯度，它将是以下内容：

def approx_round_grad(x, steepness=1):
    remainder = tf.mod(x, 1)
    sig = tf.sigmoid(steepness*(remainder - 0.5))
    return sig*(1 - sig)

为了清楚起见，这个近似值假设您使用的是“足够陡峭”steepness 参数，因为 sigmoid 函数不会精确到 0 或 1，除非在大参数的限制。

要进行半正弦近似，您可以使用以下方法：

def approx_round_sin(x, width=0.1):
    if width > 1 or width <= 0:
        raise ValueError('Width must be between zero (exclusive) and one (inclusive)')
    floor_part = tf.floor(x)
    remainder = tf.mod(x, 1)
    return (floor_part + clipped_sin(remainder, width))

def clipped_sin(x, width):
    half_width = width/2
    sin_part = (1 + tf.sin(np.pi*((x-0.5)/width)))/2
    whole = sin_part*tf.cast(tf.abs(x - 0.5) < half_width, tf.float32)
    whole += tf.cast(x > 0.5 + half_width, tf.float32)
    return whole

def approx_round_grad_sin(x, width=0.1):
    if width > 1 or width <= 0:
        raise ValueError('Width must be between zero (exclusive) and one (inclusive)')
    remainder = tf.mod(x, 1)
    return clipped_cos(remainder, width)

def clipped_cos(x, width):
    half_width = width/2
    cos_part = np.pi*tf.cos(np.pi*((x-0.5)/width))/(2*width)
    return cos_part*tf.cast(tf.abs(x - 0.5) < half_width, dtype=tf.float32)

Answer 2

也许使用 softmax 函数 tf.nn.softmax_cross_entropy_with_logits_v2 的交叉熵损失是您正在寻找的，请参阅

https://www.tensorflow.org/api_docs/python/tf/nn/softmax_cross_entropy_with_logits_v2

也可以看看

https://deepnotes.io/softmax-crossentropy