【问题标题】：How can I train a bert model for representational learning task that is domain specific?如何为特定领域的表征学习任务训练一个 BERT 模型？
【发布时间】：2020-12-08 14:09:10
【问题描述】：
我正在尝试为某些特定类型的 od 文本生成良好的句子嵌入，使用句子转换器模型，同时使用 kmeans 测试相似性和聚类并没有给出好的结果。
有什么改进的想法吗？我正在考虑在我的数据集上训练任何句子转换器模型（它们只是句子但没有任何标签）。
我如何才能专门针对 ny 数据重新训练现有模型以生成更好的嵌入。
谢谢。
【问题讨论】：
标签：
python
embedding
bert-language-model
sentence-transformers
【解决方案1】：
由预训练的 BERT 模型产生的句子嵌入是通用的，不需要适用于所有任务。
解决这个问题：
-
在给定任务上使用任务特定语料库微调模型（如果最终目标是分类，微调分类任务的模型，稍后您可以使用来自 BERT 模型的嵌入）（这是方法建议用于 USE 嵌入，尤其是当模型仍然是黑盒时）
-
使用掩码语言模型以无监督方式微调模型。这并不要求您事先了解任务，但您可以使用实际的 BERT 训练策略来适应您的语料库。