无序数据的神经网络架构

Question

假设您有 500 个类别的 10 个特征。每个输入一个类别只能出现一次。这些特征可以是任何特定的顺序。例如 [1,2,3,4,5,...], [5,3,4,2,1,...] 等。顺序无关紧要 [1,2,3, 4,5,...] = [5,3,4,2,1,...]。因此，您可以打乱您的训练数据以在无序数据上训练网络。

现在您想将其馈送到您的神经网络。我想到了 3 种架构：

1. MLP（输入：embedding_dim x n_features）
2. 带有嵌入的 LSTM（输入：embedding_dim，序列长度：n_features）
3. 具有一种热编码的 LSTM（输入：feature_dim，序列长度：n_features）

在您的循证研究中，哪一个在无序数据上表现更好？

您是否有其他在无序数据上表现良好的架构。 （也许甚至不需要改组训练数据）

Answer 1

您实际上想建模什么？这些信息可能会为解决问题提供一些线索。

如果我理解正确，您正在尝试从大小为 10 的无序多重集中学习。每个元素可能假设为 500 个类别之一。

对您的数据进行一些预处理可能会有所帮助。我想到的两种方法是：

1. 每个样本都可以编码为大小为 500 的向量，其中每个分量表示相应元素的多重性，例如[1,1,1,1,3,3,3,4,4,5] 将表示为 [4,0,3,2,1,0,...]。
2. 另一种简单的方法是重新订购样品。否则，不同输入的数量会非常多，即 500^10。