加速 Java 中的数学计算答案

【问题标题】：Speeding up Math calculations in Java加速 Java 中的数学计算
【发布时间】：2011-02-22 16:31:04
【问题描述】：

我有一个用 Java 编写的神经网络，它使用如下定义的 sigmoid 传递函数：

private static double sigmoid(double x)
{
    return 1 / (1 + Math.exp(-x));
}

这在使用网络进行训练和计算期间被调用很多次。有没有办法加快这个速度？不是慢，只是用的比较多，所以这里稍微优化一下，整体收益会很大。

【问题讨论】：

【解决方案1】：

对于神经网络，您不需要 sigmoid 函数的确切值。因此，您可以预先计算 100 个值并重用最接近您输入的值，或者甚至更好（如评论所述）从相邻值进行插值。

article 中描述了如何做到这一点（链接从answer of s-lott 被盗）。

这是sigmoid函数：

如您所见，只有 -10

编辑：很抱歉，我在这里显示了错误的图表。我已经更正了。

【讨论】：

【解决方案2】：

如果您有很多节点 x 的值在 -10..+10 框之外，您可以完全省略计算这些值，例如，像这样..

if( x < -10 )
    y = 0;
else if( x > 10 )
    y = 1;
else
    y = 1 / (1 + Math.exp(-x));
return y;

当然，这会导致每次计算的条件检查的开销，所以只有当你有很多饱和节点时才值得。

另一件值得一提的是，如果您使用反向传播，并且您必须处理函数的斜率，那么最好分段计算而不是“按原样”计算。

我现在不记得斜率了，但这里是我所说的，以双极 sigmoid 为例。而不是这样计算

y = (1 - exp(-x)) / (1 + exp(-x));

点击 exp() 两次，你可以将代价高昂的计算缓存在临时变量中，就像这样

temp = exp(-x);
y = (1 - temp) / (1 + temp);

有很多地方可以在 BP 网络中使用这种东西。

【讨论】：

【解决方案3】：

这是一个非常平滑的函数，因此查找和插值方案可能绰绰有余。

当我在-10 <= x <= 10 的范围内绘制函数时，我在极端情况下获得了五位精度。这对您的应用程序是否足够好？

【讨论】：

【解决方案4】：

从数学的角度来看，我认为没有任何优化的可能性。

【讨论】：