使用 Simple Transformers 微调预训练的语言模型

Question

在他的文章“预训练变形金刚的语言模型微调”中，Thilina Rajapakse (https://medium.com/skilai/language-model-fine-tuning-for-pre-trained-transformers-b7262774a7ee) 提供以下代码 sn-p 用于使用库 simpletransformers 微调预训练模型：

from simpletransformers.language_modeling import LanguageModelingModel
import logging


logging.basicConfig(level=logging.INFO)
transformers_logger = logging.getLogger("transformers")
transformers_logger.setLevel(logging.WARNING)

train_args = {
    "reprocess_input_data": True,
    "overwrite_output_dir": True,
}

model = LanguageModelingModel('bert', 'bert-base-cased', args=train_args)

model.train_model("data/train.txt", eval_file="data/text.txt")

model.eval_model("data/test.txt")

然后他补充说：

我们假设您已将数据集中的所有文本合并为两个 文本文件 train.txt 和 test.txt 可以在 data/ 中找到 目录。

我有两个问题：

问题 1

上面突出显示的句子是否意味着整个语料库将被合并到一个文本文件中？那么假设训练语料库由 1,000,000 个文本文件组成，我们是否应该使用这样的代码将它们全部合并到一个文本文件中？

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

问题 2

我认为我可以使用预训练模型：bert-base-multilingual-cased。对吗？

Answer 1

问题 1

是的，train_model() 和 eval_model() 方法的输入需要是一个文件。

未来可能会支持从多个文件动态加载

问题 2

是的，您可以使用bert-base-multilingual-cased 模型。

您将找到更详细、更新的语言模型训练指南here。

来源 - 我是图书馆的创造者