使用 BERT 对单词位置进行序列标记

Question

如果我有一组句子，并且在这些句子中，单词之间存在一些依赖关系。 我想训练 BERT 预测哪些词与其他词有依赖关系。

例如，如果我有这句话：

我们在法国首都巴黎四处走动。

0-----1--------2--------3-----4----5--------6---- -7---8-----9----10---11（单词索引）

我希望 BERT 预测 Paris 的单词 France 的位置。因此，将任务塑造为序列标记任务。

如果该词与句子中的任何其他词或其他词的索引之间没有关系，则该词的标签可能为-1；对于我们上面的例子，Paris 单词应该有 11 作为单词 France 的索引。

将索引作为标签放置是否正确？

Answer 1

没有。问题是每个句子的位置索引都有完全不同的含义，因此网络学习该做什么将是非常困难的。您可以将最终投影中的参数矩阵想象为目标类的嵌入，将分类想象为测量类嵌入的输出状态的相似性。

我建议进行类似于人们有时在依赖解析器中所做的分类，即对每对单词，分类单词之间是否存在关系。

BERT 为您提供了一个矩阵，其中包含每个句子的上下文嵌入。从中创建一个 3D 张量，其中位置 [i, j] 包含单词 i 和 j 的串联表示。然后，将这些对中的每一个分类为真/假，判断这是否是这两个词之间的依赖链接。