如何预测给定句子中的掩码单词

【问题标题】：how to predict a masked word in a given sentence如何预测给定句子中的掩码单词
【发布时间】：2021-01-19 07:30:35
【问题描述】：

FitBERT 是一个有用的包，但我对 BERT 开发用于掩码词预测有一点疑问，如下所示：我使用 Google 的脚本（如 create_pretraining_data.py、run_pretraining.py、extract_features.py 等）训练了一个带有自定义语料库的 bert 模型。 . 结果我得到了词汇文件、.tfrecord 文件、.json 文件和检查点文件。

现在如何为你的包使用这些文件来预测给定句子中的掩码单词？？

【问题讨论】：

标签： nlp bert-language-model

【解决方案1】：

来自 tensorflow 文档：

TFRecord 文件将您的数据存储为二进制字符串序列。这意味着您需要在将数据写入文件之前指定数据的结构。为此，Tensorflow 提供了两个组件：tf.train.Example 和 tf.train.SequenceExample。您必须将数据的每个样本存储在其中一个结构中，然后对其进行序列化并使用 tf.python_io.TFRecordWriter 将其写入磁盘。

document 和 tensorflow documentation 很好地解释了如何使用这些文件类型。

虽然直接通过库使用 FitBERT，但您可以按照您在项目的 github 上找到的示例进行操作。

【讨论】：