可以为标记器和模型使用不同的变压器模型吗？

【问题标题】：Can use different transformer model for tokenizer and model?可以为标记器和模型使用不同的变压器模型吗？
【发布时间】：2021-09-29 10:02:46
【问题描述】：

我可以将 roberta 用于分词器，而将 bert 用于模型吗？

from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained("./bert_tokenizer", max_len=512)

from transformers import BertForMaskedLM
config = BertConfig()
bert= BertForMaskedLM(config)

【问题讨论】：

标签： nlp bert-language-model roberta

【解决方案1】：

您不能将 RoBERTa 分词器用于 BERT 模型。原因是 BERT 和 RoBERTa 的词汇不同。因此，出现在 RoBERTa 词汇表中的 word-piece 标记可能不会出现在 BERT 词汇表中。

【讨论】：