Softmax随时间计算功能？

Question

我有一些代码可以随着时间的推移计算 Softmax，但我无法理解一行。有谁能给我解释一下吗？

    def softmax_over_time(x):
        assert(K.ndim(x) > 2)
        e = K.exp(x - K.max(x, axis=1, keepdims=True))
        s = K.sum(e, axis=1, keepdims=True)
        return e / s

谁能向我解释为什么我们使用“x - K.max(x, axis=1, keepdims=True)”？ 我认为true一定是“K.max(x,axis=1,keepdims=True)”？

Answer 1

这是为了防止数据溢出，例如：

如果你的输出是 1000.0，那么计算出来的 exp 就是 inf。

import numpy as np
print(np.exp(1000.0))
inf

如果你的输出是-1000.0，那么计算出来的exp就是0。

import numpy as np
print(np.exp(-1000.0))
0.0

但是如果我们减去一个最大值，就没有问题了。