用于大型重复输入集的神经网络答案

【问题标题】：Neural Networks for Large Repetitive Sets of Inputs用于大型重复输入集的神经网络
【发布时间】：2019-03-19 07:29:32
【问题描述】：

假设我们想要创建一个神经网络来预测一些参与者之间的比赛结果。

比赛中的每个参与者都有各种统计数据：发动机功率、最大速度、驾驶员体验等。

现在假设我们被要求构建一个系统，该系统可以处理从 2 到 400 名参与者的任意数量的参与者（只是选择一个具体的数字）。

根据我目前对“传统”神经网络的了解，我们的选择是：

为每个参与者数量构建许多不同的神经网络：n = 2, 3, 4, 5, ... , 400。
训练一个接受 400 名参与者输入的神经网络。当一条数据涉及少于 400 名参与者的比赛时（这将是数据的很大一部分），只需将所有剩余的统计输入设置为 0。

假设这可行，是否有理由期望一种方法比另一种方法执行得更好？

前者更专业，但每个网络的训练数据要少得多，所以我猜它的结果大致相同？

是否有解决类似问题的标准方法？

我们可以（简单地）想象神经网络首先对每个参与者的强度进行分类，因此，每次添加新参与者时，它都需要对这些新输入应用相同的分析，这可能暗示可能存在一种减少所需工作总量的“智能”方法。

这只是在为卷积神经网络尖叫吗？

【问题讨论】：

这个话题与编程或开发有什么关系？我认为您应该使用 Stack Exchange 网络上的另一个站点来解决这些问题。请参阅All Sites - Stack Exchange 和Data Science Stack Exchange。
我投票结束这个问题，因为它不是关于编程的。

标签： machine-learning neural-network supervised-learning

【解决方案1】：

在您的两个选项之间，选项 1 需要重复大量的努力来训练不同的体型，因此训练起来可能会非常缓慢。

选项 2 更可行，但网络需要对不同大小的输入进行额外训练。

另一个我认为最有可能奏效的选项是只训练一个神经网络来在两个参与者之间选择一个获胜者，并使用它通过对之间的许多比较来创建一个排名。这种方法被描述为here。

我们可以（简单地）想象神经网络首先对每个参与者的强度进行分类，因此，每次添加新参与者时，它都需要对这些新输入应用相同的分析，这可能暗示可能存在一种减少所需工作总量的“智能”方法。

我认为您已经掌握了这里的关键思想。由于我们希望对每个参与者执行完全相同的分析（假设他们是参与者 1 还是参与者 400 没有区别），所以这是 Weight Sharing 的理想问题。这意味着对参与者进行初始分析的神经元的权重对于每个参与者都是相同的。当一位参与者的这些权重发生变化时，所有参与者的权重都会发生变化。

虽然 CNN 确实使用权重共享，但我们不需要使用 CNN 来使用这种技术。您将如何执行此操作的详细信息取决于您的框架。

【讨论】：