如何使用 BERT 在大量自定义文本中训练词嵌入？答案

【问题标题】：How do I train word embeddings within a large block of custom text using BERT?如何使用 BERT 在大量自定义文本中训练词嵌入？
【发布时间】：2020-10-05 02:28:01
【问题描述】：

我在这里找到了一个很棒的教程来为自定义句子生成上下文化词嵌入：http://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/

但是，它并没有告诉我如何在更大的段落上训练它。我希望模型学习大约 1,000 个令牌。如何调整链接的代码并将其应用于整个段落，以便每个单词从整个文档中学习上下文？

【问题讨论】：

标签： machine-learning nlp data-science word-embedding bert-language-model

【解决方案1】：

您链接到的教程目前使用 Huggingface 变形金刚。据作者称，their BERT model is limited to 512 tokens。如果你想处理更长的句子，你需要从头开始训练你自己的 BERT。

请注意，一般来说，为长文档获得良好的嵌入仍然是一个活跃的研究领域，仅仅通过更改配置文件中的一些数字不会获得好的结果。

【讨论】：