NLP 使用什么深度学习模型？

Question

我要创建一个模型，将文本和关键字列表作为输入，并给出一个布尔值作为输出。
模型必须输出文本是否与这些关键字相关。
我不知道从哪里开始或使用什么型号。
LSTM一般用在NLP中，但是它只是把一些文本作为输入，预测下一个词，所以不知道能不能用。

Answer 1

您尝试解决的问题称为文本分类。

LSTM 可用于解决您的问题。它们可用于预测句子中的下一个单词，但不一定。通常，网络逐字（或按子字或字符）获取输入，并据此更新其隐藏状态。这些状态可用于预测下一个单词是什么，但这是必然的。例如，您可以获取网络的最终状态并在其上运行分类器。在这种情况下，LSTM 通常是双向的：有两个网络，每个网络从文本的不同一端运行。

最近流行的 LSTM 替代方案是 Transformer 架构。使用预训练的 BERT 模型似乎是解决问题的好方法，例如，使用 Huggingface implementation in Pytorch。