用于公式分类/计算的人工神经网络答案

【问题标题】：Artificial Neural Network for formula classification/calculation用于公式分类/计算的人工神经网络
【发布时间】：2014-11-08 12:03:44
【问题描述】：

我正在尝试创建一个用于计算/分类一个/任何公式的 ANN。

我最初尝试复制斐波那契数列。我使用输入：

[1,2] 输出 [3]
[2,3] 输出 [5]
[3,5] 输出 [8]
等等...

我要解决的问题是如何规范可能无限或呈指数级扩展的数据？然后我尝试创建一个人工神经网络来计算斜率截距公式 y = mx+b (2x+2) 与输入

[1] 输出 [4]
[2] 输出 [6]
等等...

再次，我不知道如何规范化数据。如果我只对训练数据进行归一化，网络将如何使用用于归一化的输入之外的输入进行计算或分类？

那么是否有可能创建一个人工神经网络来计算/分类公式（（a+2b+c^2+3d-5e）模2），其中公式未知，但输入（一些）a， b、c、d 和 e 以及输出都给出了吗？本质上是分类计算输出是奇数还是偶数，输入在-+无穷大之间...

【问题讨论】：

您是说您是在尝试使用人工神经网络代替公式，还是您是在尝试计算公式输出的某些属性？如果是前者，你的最终目标是什么？
我会说，第一个选项。我正在尝试使用 ANN 代替公式。公式未知，但输出将是 0 或 1。我想我也忘了提到输入可能无关，也可能无关。然而，据我对 ANN 的理解，这应该不是问题。作为人类，我不会知道公式，但希望人工神经网络“理解/学习”公式。

标签： machine-learning neural-network

【解决方案1】：

好的，我想我明白你现在想要做什么了。基本上，您将有一组表示函数系数的输入。您希望 ANN 告诉您具有这些系数的函数是否会产生偶数或奇数输出。让我知道这是否是错误的。这里有一些潜在的问题：

首先，虽然可以使用神经网络进行加法运算，但通常效率不高。您还需要以一种非常具体的方式设置您的 ANN，或者通过使用不同于通常使用的节点类型，或者通过设置复杂的循环拓扑。这可以解释您在斐波那契数列和直线方程方面缺乏成功的原因。

但还有一个更根本的问题。您可能听说过 ANN 是通用函数逼近器。但是，在这种情况下，ANN 正在学习的函数将不是您的公式。当您有一个 ANN 学习输出 0 或 1 以响应一组输入时，它实际上是在尝试学习一条线（或一组线，或超平面，取决于拓扑）的函数，该函数将所有输出应为 1 的所有输入中的输出应为 0 的输入。（有关更详尽的解释，请参阅this question 的答案，并附有图片）。那么问题来了，是否有一个超平面可以将导致偶数输出的系数与导致奇数输出的系数分开。

我倾向于说这个问题的答案是否定的。例如，如果您考虑示例中的a 系数，您会看到每次将其递增或递减 1 时，正确的输出都会切换。对于 c、d 和 e 项也是如此。这意味着不会有大量相对相似的输入都返回相同的输出。

为什么需要知道未知函数的输出是偶数还是奇数？可能还有其他更合适的技术。

【讨论】：