我们可以将 GPT-2 句子嵌入用于分类任务吗？

Question

我正在尝试在句子分类任务中使用转换器嵌入没有微调它们。我使用过 BERT 嵌入，这些实验给了我非常好的结果。现在我想使用 GPT-2 嵌入（无需微调）。所以我有两个问题，

1. 我可以使用这样的 GPT-2 嵌入吗（因为我知道 Gpt-2 是 从左到右训练）
2. GPT-2 在 生成任务以外的分类任务？
3. 如果我可以使用 GPT-2embeddings，我应该怎么做？

Answer 1

我基本上解决了这个问题。这里我使用了从 GPT-2 中提取的嵌入。

1. 所以是的，我们可以使用 GPT-2 嵌入序列的最终标记作为类标记。由于从左到右的自注意​​力机制，最终的token可以表示顺序信息。

2. 请查看以下 GitHub 问题，了解使用 GPT-2 嵌入的实现。 github issue

3. 我进行了比较 GPT-2 嵌入和 RoBERTa 嵌入的实验。我只使用 RoBERTa 嵌入而不是 GPT-2 获得了更好的结果。