来自转换器的 BERT 句子嵌入

Question

我正在尝试从 BERT 模型中的隐藏状态获取句子向量。看着拥抱脸的 BertModel 指令here，上面写着：

from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertModel.from_pretrained("bert-base-multilingual-cased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt') 
output = model(**encoded_input)

所以首先要注意，就像在网站上一样，它不会/不/运行。你得到：

>>> Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'BertTokenizer' object is not callable

但它看起来像一个小的更改修复它，因为您不直接调用标记器，而是要求它对输入进行编码：

encoded_input = tokenizer.encode(text, return_tensors="pt")
output = model(encoded_input)

好吧，除此之外，我得到的张量的形状与我预期的不同：

>>> output[0].shape
torch.Size([1,11,768])

这是很多层。哪个是用于句子嵌入的正确层？ [0]? [-1]?平均几个？我的目标是能够与这些进行余弦相似性，因此我需要一个适当的 1xN 向量而不是 NxK 张量。

我看到流行的bert-as-a-service project 似乎使用[0]

这是正确的吗？是否有关于每一层是什么的文档？

Answer 1

虽然Jindrich 的现有答案通常是正确的，但它并不能完全解决问题。 OP 询问他应该使用哪一层来计算句子嵌入之间的余弦相似度，这个问题的简短回答是 none。像余弦相似度这样的度量要求向量的维度贡献相等且有意义，但对于原作者发布的 BERT 权重而言，情况并非如此。雅各布·德夫林 （BERT论文的作者之一）wrote：

我不确定这些向量是什么，因为 BERT 不会生成有意义的句子向量。似乎这是对单词标记进行平均池化以获得句子向量，但我们从未建议这会生成有意义的句子表示。即使它们在输入为下游任务训练的 DNN 时是不错的表示，但这并不意味着它们在余弦距离方面有意义。 （因为余弦距离是一个线性空间，所有维度的权重均等）。

但是，这并不意味着您不能将 BERT 用于此类任务。这只是意味着您不能使用开箱即用的预训练权重。您可以在 BERT 之上训练一个分类器，该分类器学习哪些句子是相似的（使用 [CLS] 令牌），或者您可以使用 sentence-transformers，它可以在无监督场景中使用，因为它们经过训练可以产生有意义的句子表示。

Answer 2

我认为没有单一的权威文档说明使用什么以及何时使用。您需要试验和衡量最适合您的任务的方法。这篇论文很好地总结了最近对 BERT 的观察：https://arxiv.org/pdf/2002.12327.pdf。

我认为经验法则是：

• 如果您要针对特定​​任务微调模型，请使用最后一层。并且尽可能地微调，几百甚至几十个训练样例就足够了。

• 如果您无法微调模型，请使用一些中间层（第 7 层或第 8 层）。这背后的直觉是，这些层首先开发了一个越来越抽象和一般的输入表示。在某些时候，表示开始更多地针对预训练任务。

Bert-as-services 默认使用最后一层（但它是可配置的）。在这里，它将是[:, -1]。但是，它总是返回所有输入标记的向量列表。第一个特殊（所谓的[CLS]）标记对应的向量被认为是句子嵌入。这就是您所指的狙击手中[0] 的来源。