拟合正弦函数的神经网络玩具模型失败，出了什么问题？

Question

研究生，刚接触Keras 和神经网络试图将一个非常简单的前馈神经网络拟合到一维正弦。

以下是我能找到的最合适的三个示例。在图上，您可以看到网络与地面实况的输出

完整的代码，短短几行，贴在这里example Keras

---

我正在考虑层数、不同的激活函数、不同的初始化以及不同的损失函数、批量大小、训练样本的数量。除了上述示例之外，似乎没有一个能够改善结果。

如果有任何 cmets 和建议，我将不胜感激。正弦是神经网络拟合的硬函数吗？我怀疑答案不是，所以我一定是做错了什么……

---

5 年前有一个类似的问题here，但是那里的 OP 没有提供代码，仍然不清楚出了什么问题或他如何解决这个问题。

Answer 1

为了使您的代码正常工作，您需要：

• 在 [-1, +1] 范围内缩放输入值（神经网络不喜欢大值）
• 也可以缩放输出值，因为 tanh 激活在接近 +/-1 时效果不佳
• 在除最后一层外的所有层中都使用 relu 激活而不是 tanh（收敛速度方式更快）

通过这些修改，我能够使用 10 和 25 个神经元的两个隐藏层来运行您的代码

Answer 2

由于已经有提供解决方法的答案，因此我将重点关注您的方法存在的问题。

输入数据比例

正如其他人所说，您的输入数据值范围从 0 到 1000 相当大。这个问题可以通过将输入数据缩放到零均值和单位方差 (X = (X - X.mean())/X.std()) 轻松解决，这将提高训练性能。对于tanh，这种改进可以用饱和度来解释：tanh 映射到 [-1;1]，因此对于几乎所有足够大的 (>3)x，将返回 -1 或 1，即饱和。在饱和状态下，tanh 的梯度将接近于零，并且不会学到任何东西。当然，您也可以改用ReLU，它不会在值 > 0 时饱和，但是您会遇到类似的问题，因为现在渐变（几乎）仅依赖于x，因此以后的输入总是会产生更大的影响比早期的输入（除其他外）。

虽然重新缩放或归一化可能是一种解决方案，但另一种解决方案是将您的输入视为分类输入并将您的离散值映射到一次性编码向量，而不是

>>> X = np.arange(T)
>>> X.shape
(1000,)

你会的

>>> X = np.eye(len(X))
>>> X.shape
(1000, 1000)

当然，如果您想学习连续输入，这可能是不可取的。

建模

您当前正在尝试对从线性函数到非线性函数的映射建模：您将 f(x) = x 映射到 g(x) = sin(x)。虽然我知道这是一个玩具问题，但这种建模方式仅限于这条曲线，因为f(x) 与g(x) 没有任何关系。只要您尝试对不同的曲线进行建模，例如sin(x) 和cos(x)，使用相同的网络，您的X 就会出现问题，因为两条曲线的值完全相同。对此问题进行建模的更好方法是预测曲线的下一个值，即代替

X = range(T)
Y = sin(x)

你想要的

X = sin(X)[:-1]
Y = sin(X)[1:]

因此，对于时间步 2，您将获得时间步 1 的 y 值作为输入，而您的损失预计时间步 2 的 y 值。这样您就可以隐式模拟时间。