用附加信息预测句子中的缺失词

Question

下面有一句话：

it claimed that some 250,000 people __ the rally.

我想用 Bert 预测丢失的单词。我知道一些额外的信息，比如这句话的主题。我应该怎么做才能使用其他信息来预测它？有没有针对这个问题的论文？

Answer 1

我不知道关于这个问题的论文。但是我假设您可以在[SEP] 标记之后将您的附加信息附加到您的输入句子中（就像它是第二个句子一样），这将提高预测质量。

如果您有一个标有足够大的附加信息的数据集，您可以使用上述设置微调 BERT，它可以进一步提高质量。