【发布时间】：2020-04-22 15:15:11
【问题描述】：
我想针对未标记数据的特定域微调 BERT，并让输出层检查它们之间的相似性。我该怎么做？我是否需要首先微调分类器任务（或问题答案等）并获得嵌入？或者我可以只使用预训练的 Bert 模型，而无需使用我自己的数据进行任务和微调吗？
【问题讨论】：
标签： nlp similarity bert-language-model
【发布时间】：2020-04-22 15:15:11
【问题描述】：
无需对分类进行微调，尤其是在您没有任何监督分类数据集的情况下。
您应该继续以与最初训练相同的无监督方式训练 BERT，即使用掩码语言模型目标和下一句预测继续“预训练”。 Hugginface 的实现包含 BertForPretraining 类。
【讨论】：
-
谢谢！所以这门课可以让我根据我的词汇量来更新权重？
-
它将根据您的训练数据的一般外观进行调整，而不仅仅是词汇表。