如何根据自己的任务微调 BERT？ [关闭]

【问题标题】：How to fine tune BERT on its own tasks? [closed]如何根据自己的任务微调 BERT？ [关闭]
【发布时间】：2019-09-22 05:06:59
【问题描述】：

我想用我自己语言的数据对 BERT 进行预训练，因为 BERT 的多语言（包括我的语言）模型不成功。由于整个预训练的成本很高，我决定在它自己的 2 个任务上对其进行微调：掩码语言模型和下一句预测。以前有针对不同任务（NER、情感分析等）的实现，但我找不到对其自身任务的任何微调。有没有我看不到的实现？如果没有，我应该从哪里开始？我需要一些初步帮助。

【问题讨论】：

标签： python keras nlp pytorch language-model

【解决方案1】：

BERT 的一个很好的资源是：https://github.com/huggingface/pytorch-pretrained-BERT。此存储库包含针对 Google BERT 模型的 op-for-op PyTorch 重新实现、预训练模型和微调示例。

您可以在以下链接中找到语言模型微调示例。此文件夹中的三个示例脚本可用于使用预训练目标（掩蔽语言建模和下一句预测损失的组合）微调预训练的 BERT 模型。

https://github.com/huggingface/pytorch-pretrained-BERT/tree/master/examples/lm_finetuning

顺便说一句，BERT 多语言可用于 104 种语言 (ref)，并且被发现在许多跨语言 NLP 任务 (ref) 中效果惊人。因此，请确保在任务中正确使用 BERT。

【讨论】：

Huggingface 有 keras 和 tensorflow 的实现吗？
是的，它有 TensorFlow 实现。