如何从 Tensorflow 检查点（ckpt）文件中预测基于 BERT 的句子中的掩码词？

Question

我有基于 BERT 的模型检查点，这些检查点是在 Tensorflow 中从头开始训练的。如何使用这些检查点来预测给定句子中的掩码词？

就像，让我们说句子是， “[CLS] abc pqr [MASK] xyz [SEP]” 我想预测 [MASK] 位置的单词。

我该怎么做？ 我在网上搜索了很多，但每个人都在使用 BERT 来完成特定于任务的分类任务。 不使用 BERT 来预测掩码。

请帮助我解决这个预测问题。

我使用 create_pretraining_data.py 创建数据并使用来自官方 BERT 存储库 (https://github.com/google-research/bert) 的 run_pretraining.py 从头开始​​训练模型

我在官方 bert repo 中搜索了问题。但没有找到任何解决方案。

还查看了该仓库中的代码。他们正在使用 Estimator，他们正在训练而不是使用检查点权重。

没有找到任何方法来使用基于 BERT 模型（从头开始训练）的 Tensorflow 检查点来预测单词掩码标记（即 [MASK]）。

Answer 1

您确定需要从 TF 检查点开始吗？如果您可以使用pytorch-transformers 库中使用的预训练模型之一，我编写了一个库来执行此操作：FitBERT。

如果你必须从 TF 检查点开始，有一些脚本可以将 TF 检查点转换为 pytorch-transformers 可以使用的东西，link，转换后你应该可以使用 FitBERT，或者你可以看到我们在代码中所做的事情。