是否可以使用 XGBoost 预测给定输入向量或一系列向量的整个输出向量？

Question

我有文本评论和答案的文本数据集。评论和答案的每一句话都被向量化了，如下所示：

                    Vector_Review                                       Answer_Vector
0   [1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1]   [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
1   [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1]   [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
2   [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]   [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
3   [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]   [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0]
4   [1, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]   [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

我已经编造了向量来举个例子，我知道它们与预期的不匹配，但想象一下评论向量和答案向量匹配。

句子的向量是根据从评论/答案文本中提取的构建词汇集使用one-hot 匹配创建的。当评论关键字出现在其答案中时，它将是 1，如果不是，则为 0。

现在我想提几个问题。想象一下每个评论向量都与其对应的答案向量相关联：

• 1. 有没有一种方法可以在给定新评论向量的情况下预测整个答案向量？
• 2. 是否有任何 ML 算法可以采用这样的输入向量并输出新向量？
• 3. 这可以通过 XGboost 或任何其他现有算法实现吗？
• 4. 神经网络是否可能/更好？
• 5. 如果不是，解决此问题的最佳方法是什么？

非常感谢您

Answer 1

我将所有问题的答案总结为一个：

给定一个输入文本，您可以使用统计分布和推断的句法和语义来预测第二个文本。

最近使用 Seq2Seq 模型取得了很大成功。

总之，seq2seq 是一个由 Encoder 和 Decoder 组成的神经网络模型（它通常是在递归神经网络 - RNN 之上制作的）。通常这是基于嵌入的工作，但似乎将您的 one-hot-encodings 转换为嵌入并不难。

由于使用了所谓的注意力机制（和 Google BERT），这个模型已经爆发了几次。

因此，这通常最好使用人工神经网络来完成

以下是一些参考资料：

• BERT：https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html

• Seq2Seq：https://google.github.io/seq2seq/

• 注意：https://www.google.com/search?q=attention+mechanism&oq=attention+mechanism&aqs=chrome..69i57j0l2j35i39l2j0l2j69i60.2606j0j4&sourceid=chrome&ie=UTF-8

• RNN：https://towardsdatascience.com/understanding-rnn-and-lstm-f7cdf6dfc14e